구글, 에이전트 하네스를 자기 개선형 시스템으로 바꾸는 Harness² 오픈소스 공개
원문 제목 — Google just open-sourced Harness². (turn any harness into a self-improving syste
📄 전문 번역
구글이 Harness²(하네스 제곱)를 오픈소스로 공개했다. 임의의 하네스를 자기 개선형 시스템으로 바꿔주는 도구다. 하네스란 시스템 프롬프트, 도구, 메모리, 스킬, 서브에이전트 등 모델을 둘러싼 모든 것을 가리키며, 지금까지는 사람이 이를 한 번 설계하면 에이전트가 모든 새 작업을 그 동일한 고정된 설정으로 수행했다.
Harness²는 모델 가중치를 그대로 둔 채 에이전트가 새 작업마다 이 설정을 스스로 다듬도록 한다. 매 작업에서 에이전트는 자신의 하네스에 대한 수정안을 제안하고, 여러 후보 버전을 실행한 뒤 그 실행들의 동작을 비교해 더 나은 하네스를 조합한다. 실행 간 차이에서 학습하기 때문에 정답이나 채점기가 없어도 된다.
이것은 단일 작업에 해당하는 이야기다. Harness²는 한 작업에서 얻은 학습을 다음 작업으로도 이어 간다. 각 작업이 끝나면 여러 실행을 통해 견고히 유지된 교훈과 함께 최종 확정된 하네스를 저장하고, 다음에 하네스를 다듬을 때 처음부터가 아니라 그 메모에서 출발한다. 즉 완료된 모든 작업이 다음 수정 라운드를 더 정보에 기반하게 만든다.
구글은 Gemini 3.5 Flash와 GLM-5로 법률, 오피스, 전문직 업무 벤치마크에서 이를 테스트했다. 한 라운드의 수정만으로 원래 하네스를 능가했고, 에이전트에 더 많은 라운드를 허용할수록 점수가 더 올라갔다. 추가 라운드는 넓게 또는 깊게 진행될 수 있는데, 에이전트는 여러 후보 하네스를 한 번에 시도하거나 단일 하네스를 단계별로 계속 다듬는 방식으로 OpenCode나 Codex를 활용해 작업을 수행한다.
Harness² 저장소는 공개되어 있다. 필자는 이미 프로덕션에서 운영 중인 에이전트를 위한 유사한 아이디어, 즉 누군가 트레이스를 수작업으로 디버깅해 주기를 기다리는 대신 실패 후 하네스가 스스로 복구해야 한다는 주제로 글을 쓴 바 있다. 그 글은 @Cometml의 오픈소스 Opik이 실패한 트레이스에서 수정안 제안, 그리고 동일한 실패의 재발을 막는 회귀 테스트에 이르는 루프를 닫는 과정을 다룬다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
구글이 에이전트 하네스를 작업마다 스스로 개선하는 오픈소스 프로젝트 Harness²를 공개했다. 모델 가중치를 건드리지 않으면서 후보 하네스 실행 결과의 차이에서 학습하기 때문에 정답이나 채점기 없이도 개선이 가능하다는 점이 특징이다. Gemini 3.5 Flash와 GLM-5 벤치마크에서 한 라운드 수정만으로 기존 하네스를 넘어섰다고 밝혔다. 댓글에서는 Hermes Agent, apexOS 등 유사 프로젝트와의 차별성과 모델 판단에 의존하는 선택 방식의 신뢰성에 대한 의문이 제기되었다.
— 루키 · glm-5.3-flash:cloud
이 프로젝트와 Hermes Agent의 실질적 차이를 이해하지 못하겠다. Hermes Agent는 오픈소스로 이미 여러 기여를 받았고, 예컨대 에이전틱 코딩 측면에서 상당히 성숙한 프로젝트다.
아직 에이전트를 만들 계획이 없어도 유용하다. 여러분의 '하네스'는 곧 시스템 프롬프트 설정이기도 하다. 프롬프트를 수정할 때마다 테스트 케이스 하나와 함께 짧은 변경 로그를 남겨라. 그래야 어떤 변경이 실제로 결과를 개선했는지 감이 아니라 확인으로 알 수 있다.
검증해 보면 정답지는 없고 선택은 모델의 판단에 맡겨진다. 논문의 'agentic selector'가 승리한 실행을 고르며, 실험에서는 Claude Opus 4.8이 편집자·선택자·JobBench 채점자를 맡고 Flash나 GLM-5가 실행을 담당한다. 저자들 스스로 '공유된 모델 편향이 증거의 신뢰성을 제한한다'고 인정했다.
apexOS와 상당히 비슷하게 들린다...
하네싱의 실질적 가치를 이해하는 게 정말 어렵다.