이제 코딩 하네스 에이전트(Coding Harness Agents)로 EDD(평가 중심 개발, eval-driven development)를 자동화할 수 있다. 기본 LLM 기반 애플리케이션을 구축하고, 모든 변경 사항을 저지(judge) 평가로 점수화한 뒤, 개선되는 변경은 유지하고 후퇴하는 변경은 거부하는 방식이다.

EDD가 무엇인지, 어떻게 작동하는지, 그리고 실험 전반에 걸쳐 평가 점수를 활용해 LLM 앱을 개선하는 방법을 다룬 영상 튜토리얼이 공개되었다. 이 튜토리얼은 Confident AI의 Jeffrey가 작성한 EDD 관련 글과 Eugene Yan의 제품 평가 관련 글을 바탕으로 한다.

구성은 다음과 같다. 설정 단계에서는 모든 실험의 출발점이 되는 기본 RAG 앱을 마련하고, 1단계에서는 비평(critique)이 포함된 이진 레이블 데이터셋을 구축하며, 2단계에서는 LLM-as-a-judge 평가기를 정렬하고, 3단계에서는 각 실험을 실행해 기준선과 비교해 점수를 매기는 하네스 루프를 운영한다. 이후 트레이싱과 실험 비교를 통해 무엇이 개선되고 무엇이 후퇴했는지, 다음에 무엇을 조정할지 확인할 수 있다.

소스 코드와 에이전트 스킬(Agent Skills)은 오픈소스로 공개되었으며, 전체 가이드는 소스 코드 링크가 설명란에 포함된 유튜브 영상으로 제공된다. 이 게시물은 레딧 사용자 External_Ad_11이 제출했다.