어디선가 이 얘기를 읽었는데, 아직도 남아 있는 문제인지 아니면 Claude Code CLI로 쓰는 모든 모델이 아닌 외부 모델에만 해당하는 문제인지 확신할 수 없었다. 전문은 다음과 같다.

'최신 Ollama 업데이트는 드디어 Claude Code를 사용할 때마다 KV 캐시를 깨뜨리던 그 문제를 수정했다. 실제로는 조금 전에 고쳐졌지만, 하네스를 만드는 모든 이에게 유용할 것 같아 공유한다. Claude Code를 자주 쓴다면, 약 2주 전부터 작업 매 라운드마다 'Token Left: …'가 계속 표시되며 남은 토큰 한도를 정확히 알려주던 것을 눈치챘을 것이다. 문제는 바로 그것이었다. Claude Code는 이를 <total_tokens>…token</total_tokens> 같은 시스템 태그로 삽입했는데, 어울리는 위치가 아니라 히스토리 맨 앞에 그냥 밀어넣은 것이다. 그 결과 매 라운드 KV 캐시 미스가 발생했고, Ollama를 통해 Claude Code를 쓰는 이들은 KV 캐시가 아무것도 적중하지 못해 토큰을 미친 듯이 소모했다. 최신 Ollama 버전은 그 태그를 그냥 무시하는 방식으로 이를 수정했다. 대단한 문제는 아니지만, 하네스를 작성하는 이들이 이런 함정을 경계하라고 표시해 두고 싶었다.'