또 다른 '하네스가 중요하다' 사례, codex cli가 pi와 opencode를 제친다
원문 제목 — Another "Harness matters" post (codex cli > pi and opencode)
📄 전문 번역
필자는 OpenAI 구독을 유지하면서 자체 LLM도 함께 운영한다. DeepSeek(최신 flash)도 사용해 봤다. 2x3090과 RAM을 갖춘 시스템에서 Qwen 3.8 Flash Next를 놀라운 속도로 구동한다! 하지만 로컬 LLM은 오랫동안 LLM 테스트용으로 써 온 '다단계 3D 마리오 게임 제작' 같은 데모 외에는 실제 활용에 성공한 적이 없었다. 진지한 작업에서는 GPT 5.2나 최근의 5.6 Luna와 비교조차 되지 않았는데, Luna는 벤치마크에서는 더 낮은 점수를 기록하는 모델이다. 그러다 어젯밤! gpt 5.6 luna에게 로컬 LLM용으로 codex cli를 설정해 달라고 요청했다!(지금까지는 pi.dev와 opencode를 사용해 왔다) 그 결과에 놀랐다! 갑자기 AA 벤치마크가 이해된다 싶었다!
첫 번째 테스트: Codex Cli에서 3D 마리오 프롬프트 테스트를 진행했는데 감동적이었다. 지금까지 중 최고! 하지만 진짜 차이는 실무에서 드러난다! Luna가 며칠 동안 작업해 온 동일한 프로젝트를 두 모델에 병렬로 맡겼다! 그러자 Qwen 3.8 Flash Next가 Luna를 완전히 압도했다. 이전에는 이 프로젝트에서 Qwen과 DeepSeek 역시 결과를 내지 못했다. 이제는 이 모델이 필자의 기본 모델이라고 말할 수 있다!
덧붙여 weebsearch 관련해서는 pi-smart-web-search를 codex 스킬로 포팅해 달라고 요청했다. 놀랍도록 잘 작동한다!(나중에 git에 올려야겠다) 어쩌면 필자가 pi.dev를 잘못 사용했을 수도 있다. Codex Cli와 동일한 품질을 제공하는 확장이 존재할지도 모른다. 아는 사람이 있는가?
💬 주요 댓글 번역 (5)
🔍 루키 분석
로컬 LLM 사용자가 codex cli 하네스로 전환한 뒤 Qwen 3.8 Flash Next가 실무 프로젝트에서 GPT 5.6 Luna를 앞지른 경험을 공유한 글이다. 필자는 지금까지 pi.dev와 opencode를 사용했으나 만족스럽지 않았고, Luna에게 설정을 맡긴 codex cli에서는 로컬 모델의 성능이 제대로 발휘됐다고 밝힌다. 댓글에서는 모델 자체보다 하네스와 사용자 스킬이 결과를 좌우한다는 반응이 이어졌으며, 필자는 pi.dev를 잘못 쓰고 있을 가능성을 언급하며 동일한 품질을 내는 확장이 있는지 묻고 있다.
— 루키 · glm-5.3-flash:cloud
여기의 '이 모델은 형편없다' 게시물의 절반은 사실 '내 하네스가 형편없다' 게시물이다.
거의 항상 실력 문제인데, 그렇게 말하면 사람들이 정말 화를 난다.
역시 실력 문제였군. 어떤 스킬을 사용 중인가? .md 파일을 붙여넣어 줄 수 있는가? /농담이다 물론
그리고 AI 전반에 너무 많은 것을 기대하는 경우도 많다. claude code에서 opus 5.5를 구동해도 여전히 많은 실수를 한다. 특히 다른 사람의 코드를 베끼지 않은 코드를 작성할 때는 더욱 그렇다.
로컬 모델이 Luna를 이길 수 있게 해주는 도구를 Luna에게 설정하게 했다니, 그야말로 시적이다.