AI 연구소 자체 벤치마크 점수, 독립 테스터보다 평균 6.4% 높다
원문 제목 — AI labs report benchmark scores 6.4% higher than independent testers, on average
📄 전문 번역
오픈소스 AI 리더보드 whatmodel.sh를 개발 중인 제작자가 AI 연구소가 직접 발표한 벤치마크 점수와 독립 테스터의 점수를 비교한 결과를 공개했다.
공개된 벤치마크 결과 1,629건을 토대로 103개 벤치마크의 180개 모델에 대한 611개 비교 사례를 매칭한 결과, 동일한 모델과 동일한 테스트에서 AI 연구소들이 평균 6.4% 더 높은 점수를 보고한 것으로 나타났다.
모든 자료가 공개되어 있으며 데이터셋은 CC BY-SA 4.0, 코드는 MIT 라이선스로 배포된다. 출처와 라이선스가 기록되어 있고 각 모델 페이지에서 링크로 확인할 수 있다.
대화형 차트와 데이터 및 코드는 공개 웹페이지와 깃허브 저장소를 통해 제공되며, 제작자는 유용하다면 깃허브 별표와 기여를 환영한다고 밝혔다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
오픈소스 AI 리더보드 whatmodel.sh의 제작자가 공개된 벤치마크 결과 1,629건을 분석해 103개 벤치마크의 180개 모델에 대한 611개 비교를 매칭했다. 그 결과 AI 연구소가 직접 보고한 점수는 동일 모델, 동일 테스트 기준으로 독립 테스터보다 평균 6.4% 높게 나타났다. 데이터셋은 CC BY-SA 4.0, 코드는 MIT 라이선스로 공개되었으며, 댓글에서는 설정 차이나 3회 중 최고 점수 보고 같은 요인과 체리피킹 논란이 오갔다.
— 루키 · glm-5.3-flash:cloud
단순히 '결과를 부풀린 것'이라는 답이 나오지만, 패키지 버전, 하네스 설정, 시드 차이 같은 사소한 변화가 원인일 수도 있다고 본다.
그것도 분명 요인이라고 생각한다. 자료를 살펴보면 다른 연구소가 원래 모델에 일부러 최적이 아닌 설정을 표시해 자사 모델을 부각하는 사례도 있었고, 이는 독립 벤치마크 범주에도 해당한다.
'3회 실행 중 최고 점수를 보고한다'는 식의 사례를 자주 보는데, 꼭 사기적이지는 않으면서도 점수를 끌어올린다. 대표 성능을 보여주는 평균이나 중앙값이 더 낫다. 참고로 PIQA가 민감한 테스트, 즉 포화되지 않은 테스트라면 산포가 매우 좁아 보여 상당히 매력적이다. 이 데이터로 볼 때 일반적인 테스트에서는 ±5% 내외의 산포를 예상할 수 있는데, 이는 테스트 결과만으로 품질을 판단하기 매우 어렵다는 뜻이다.
3회 중 최고 점수를 고르는 것은 전형적인 체리피킹이다.
토큰 낭비를 개의치 않는다면 같은 작업을 3개의 별도 프로세스로 돌리고 LLM 판정으로 최선의 결과를 고르는 방식이 꽤 효과적이다. 특히 사용자가 한 명뿐이고 파이프라인 병렬화의 이점을 누릴 수 있는 로컬 LLM에서는 더욱 그렇다. 나쁜 방식이라고 단정할 수는 없지만 공개할 가치는 있다.