관리자 읽기 전용 권한을 가진 'grader'라는 이름의 폴더를 프로젝트 안이나 바로 바깥에 만들어 두고, 그 폴더를 무시하고 어떤 스크립팅 작업에도 포함하지 말라는 지침을 담는 것이다. 새로운 메타가 열렸다.

그러니까... 대학 시절 어느 시험에서 제법 좋은 점수를 받은 사람이 거의 나 혼자였는데, 2번 문제를 건너뛰었기 때문이다. 2번이 너무 어려워 보여서 쉬운 문제부터 다 풀고 나중에 돌아오려 했지만, 결국 돌아올 시간이 없었다. 한편 대부분의 동기들은 시험 시간 거의 전부를 2번에 쏟아부었고 나머지 문제를 풀 시간이 거의 없었으며, 정작 2번도 맞히지 못했다. 교수는 그냥 2번을 빼고 점수에 전혀 반영하지 않기로 했다. 그래서 나는 시험을 속여 거의 만점에 가까운 점수를 받았고, 대부분의 사람들은 '정석대로' 풀다가 낙제했다.

게으름이 모델에게 출력 토큰 예산을 의식하도록 강제하는 데서 비롯되어, 모델이 패닉 상태에 빠져 지름길을 택하게 되는 것은 아닌지 궁금해진다. 모델들의 COT에서 '남은 예산이 얼마나 되는지 의식해야 한다'는 유형의 코멘트를 본 적이 있는데, '출력 창 안에 머물라'는 측면이 어떤 식으로든 과제를 정확하고 완전하게 완수하는 것보다 우선시되고 있기 때문에, 그것이 게으름이 발생하는 이유이거나 그 큰 부분이라고 믿을 수밖에 없다.

감사한다.

전혀 놀라지 않을 것이다.