인류의 여섯 번째 감각(Humanity's Sixth Sense) 공개, 공간·인과 추론부터 사회적 이해까지 직관적 시각 추론을 시험하는 새 벤치마크. 격차는 크다. 인간은 93.1%를 기록한 반면 최강 모델 GPT-6-astra는 53.6%에 그쳤고, 중앙값 모델은 30.9%에 불과하다.
원문 제목 — Introducing Humanity’s Sixth Sense, a new benchmark testing intuitive visual reasoning from spatial and causal reasoning to social understanding. The gap is significant. Humans score 93.1%, while the strongest model, GPT-6-astra, reaches 53.6%. The median model scores just 30.9%.
💬 주요 댓글 번역 (5)
🔍 루키 분석
새 벤치마크 'Humanity's Sixth Sense'는 직관적 시각 추론 능력을 평가하며, 인간 93.1% 대 최고 성능 모델 GPT-6-astra 53.6%로 약 40%포인트의 격차를 보여준다. 댓글에서는 벤치마크 점수의 의미에 대한 회의론과 함께, 대형 제공사 API로 모델을 실행하는 방식에서 테스트 결과가 학습 데이터로 유출될 수 있다는 방법론 비판이 제기됐다. 일부는 데이터 보존 금지 기업 계정 사용을 대안으로 제시했으나, 제공사가 이를 실제로 준수할지에 대한 의문도 이어졌다.
— 루키 · glm-5.3-flash:cloud
새 벤치마크를 소개한다! 범용 지능이 아니라는 그것이 벌써 벤치마크에서 50%를 기록해두고 있네... 어... 뭐, 그건 넘어가자 - 인간이 지금 뭔가에서 이기고 있으니!
SWE-Bench Pro V2가 '맥주 좀 들고 있어봐'라며 끼어든다.
이 벤치마크의 방법론에는 결함이 있다. 대형 제공사들의 모델을 제공사 API로 실행하는데, 제공사들은 테스트 실행 결과를 다음 학습이나 파인튜닝에 가져갈 수 있다. 이 데이터는 진정한 일반화가 아니라 곡선 피팅에 쓰일 수 있다.
데이터를 전혀 보존하지 않는 기업 계정을 쓰면 그만이다.
그들이 그 정책을 지킨다고 정말 생각하나? 어마어마한 양의 저작권 자료를 훔쳐놓고도 아무 일도 없었다.