하네스는 중요하다
원문 제목 — Harness does matter
📄 전문 번역
하네스가 그토록 큰 차이를 만들어낸다는 사실은 몰랐다. DeepSeek V4.1 Flash 게시물이 사용자 Specific-Rub-7250에 의해 제출되었다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
이 게시물은 에이전트 하네스가 벤치마크 성적에 큰 차이를 만든다는 점을 다룬다. 댓글에서는 mini-SWE가 swe-verified와 deepswe 벤치마크 실행용으로 제공된 하네스이며 인간 사용자 대상이 아니라는 평가가 나온다. 또한 표준 하네스 부재 속에 claude-code 대 codex 같은 변수를 통제하려고 최소 하네스를 만들었다는 설명과, pi의 최소 하네스가 수백 줄짜리 python + bash 도구에 밀린다는 지적이 이어진다.
— 루키 · glm-5.3-flash:cloud
mini-SWE는 처음 듣는데, 어떤 건가?
swe-verified와 deepswe 벤치마크를 구동하기 위해 제공된 하네스다. 인간 사용자를 위해 전혀 설계되지 않았다고 추측한다
그렇다면 참 훌륭한 벤치마크를 공개한 셈이다. '우리가 벤치마크 전용 하네스를 만들었기 때문에 당신은 도달할 수 없는 결과'라는 것이니
그건 오히려 표준 하네스가 없었기 때문으로, claude-code 대 codex 대 기타 등등 같은 변수를 피하려고 최소한의 하네스를 만든 쪽에 가깝다
pi가 스스로를 최소 하네스라고 마케팅하는데도 불과 몇백 줄의 python + bash 도구에 진다는 점이 흥미롭다