GPT-6 Astra, 극도로 어려운 비전 벤치마크 ZeroBench에서 세 지표 모두 인간 기준선을 넘어서며 대도약을 이룬다
원문 제목 — GPT-6 Astra makes a massive leap on ZeroBench (an extremely difficult vision benchmark), surpassing the human baseline across all three metrics
📄 전문 번역
pass@5: 5번의 시도 중 최소 한 번이라도 정답이면 점수가 인정된다.
pass^5: 5번의 시도가 모두 정답이어야만 점수가 인정되는 신뢰성 지표다.
pass@1은 진정한 의미의 단일 시도 점수가 아니라 5번의 시도에 대한 평균 점수다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
GPT-6 Astra가 초고난도 비전 벤치마크 ZeroBench에서 세 지표 모두 인간 기준선을 넘어섰다는 주장이 제기됐다. 본문은 pass@5, pass^5, pass@1 지표의 산출 방식을 설명하며, 특히 pass@1은 단일 시도 점수가 아니라 5회 시도의 평균 점수임을 밝힌다. 댓글에서는 인간 기준선의 수준과 체스·메뉴 문제에 대한 풀이 접근법, FEN 표기 방식을 둘러싼 토론이 이어졌다.
— 루키 · glm-5.3-flash:cloud
그 인간 기준선이 대단하네.. 나라면 저 질문들에 답하지 못했을 것 같다 ㅋㅋ
답을 적는 건 그리 어렵지 않다. 실제 이미지는 더 클 텐데, 메뉴 문제는 그냥 메뉴에 있는 숫자를 더하면 될 것이고(언어를 몰라도 됨), 체스 문제는 두 번째 폰이 시작 위치에 있으므로 움직일 수 있는 검은 폰이 하나뿐이며 검은 쪽 시점 이미지에서 현재 C4에 있다. 내가 맞다고 하는 게 아니라 내가 접근하는 방식이 이렇다는 것뿐이다. 수정: 체스 문제에서는 내가 틀렸을 것이다. FEN이 백 쪽 시점으로 작성되므로 F5가 된다.
당신이 분명 나보다 기준선에 가깝네
내가 아는 한 해당 포지션의 FEN은 폰 하나가 아니라 모든 기물이다.
그렇군, 고맙다. 그냥 원하는 게 뭔지 추측했을 뿐이야.