직접 구동하는 모든 로컬 모델의 문제는 무언가를 지어낼 때도 실제로 아는 때와 똑같이 자신감 있게 들린다는 점이다. 유창함도 어조도 같다. 지식이 어디서 끝나는지 물어볼 수도 없다. 모델 자신이 모르기 때문이다. 모델의 내부에서는 기억해내는 것과 지어내는 것이 같은 연산이다. 즉 모델이 코드를 쓸 때마다 어느 부분이 진짜인지 알려주는 신호가 전혀 없는 출력을 신뢰하는 셈이다. 지금까지는 모든 줄을 직접 읽거나, 망가질 때 알게 되는 두 가지 선택지뿐이었다.

필자는 세 번째 선택지로 hedgemony를 만들었다. 신뢰 대신 증명이다. 모델이 쓰는 모든 것은 세계에 대한 주장이다. 이 패키지가 존재한다, 이 메서드는 이 객체에 속한다, 이 코드는 이 결과를 낸다. hedgemony는 그 주장 하나하나를 사용자 자신의 파이썬 인터프리터에 넘겨 검증하는데, 이 인터프리터는 모델이 얼마나 자신 있게 들렸는지에 대한 의견이 없고 그럴듯해 보이는 코드에 달콤하게 속을 일도 없다.

돌아오는 것은 점수가 아니라 모델이 알던 것을 멈추고 추측을 시작한 정확한 줄이다. 다른 모든 것을 속이는 거짓말을 잡아낸다. 필자의 qwen은 자체 사용 예를 담은 byte 포매터를 작성했는데, format_byte_count(1024)가 '1.0 KB'를 반환한다고 주장했다. 실제 반환값은 '0.0 MB'였다. 그 파일의 모든 이름은 실존했고 어떤 정적 검사기도 통과했다. hedgemony는 코드가 스스로 명시한 예제를 샌드박스에서 실행해 파일이 스스로 모순됨을 잡아냈고, 그 외의 어떤 도구도 이를 알려주지 못했을 것이다.

그리고 알 수 없는 것에 대해서도 정직하다. 설치되지 않은 패키지는 검사할 수 없으므로 NOT CHECKED(검사 안 됨)라고 표시한…