매 턴 히스토리 전체를 보내는 것은 괜찮다. 그것이 Ollama의 동작 방식이며 서버에는 세션이 존재하지 않는다. 진짜 문제는 컨텍스트 윈도우다. Ollama는 기본값이 4096 토큰(약 3000 단어)이며, 여기에 시스템 프롬프트와 전체 히스토리, 응답을 위한 공간이 모두 들어가야 한다. 히스토리가 이보다 커지면 Ollama는 모델이 보기 전에 가장 오래된 메시지를 조용히 버린다. 오류도 없고 로그에도 아무것도 남지 않으며, 모델이 대화 앞부분을 잊기 시작하는데 사용자는 모델이 둔해졌다고 착각하게 된다. 4096 기준으로 대략 20~40회 교환 후에 그렇다. 먼저 쉬운 해결책은 options={'num_ctx': 16384}를 전달하는 것이다.

감사합니다. 이해가 됩니다. 먼저 num_ctx를 올려보겠습니다. 요약 단계에서는 보통 같은 모델을 호출해 요약을 생성하는지, 아니면 그 용도로만 더 작은 모델을 사용하는지 궁금합니다.

자세한 답변 감사합니다. 큰 도움이 됐습니다. 제공된 코드 조각에서 session['history'] = recent처럼 히스토리를 덮어써 마지막 6개 메시지만 유지하는 주된 이유가 디스크 공간 절약이나 세션 상태 단순화인가요? 아니면 다른 장점이 있나요? 저는 전체 대화 히스토리를 그대로 유지하고, Ollama용 메시지 배열을 구성할 때 최근 부분과 요약만 잘라내는 방식을 생각하고 있었습니다. 이 접근에 단점이 있을까요?

요약을 추가하기 전에 알아둘 것은, 비용이 큰 부분은 히스토리 재전송이 아니라 프리픽스 캐시를 깨는 것이라는 점이다. Ollama의 기반인 llama.cpp에서는 프롬프트가 프리픽스 단위로 캐시되며, 시스템 프롬프트와 히스토리 앞부분이 지난 턴에 보낸 것과 바이트 단위로 동일하면 해당 부분은 전혀 다시 프리필되지 않고 새로운 꼬리 부분만 처리된다. 필자는 4090에서 27B Q4 모델을 구동하며 세션 전체에서 약 89%의 프리픽스 캐시 히트율을 기록하므로 매번 세션 전체를 보내는 비용은 거의 없다. 벽시계 시간을 잡아먹는 것은 프리필이 아니라 디코드이며, 이를 망치는 것은 프롬프트 내용을 바꾸는 모든 것이다.

감사합니다. 프리픽스 캐시 설명이 정말 큰 도움이 됐습니다. 프롬프트 앞부분 텍스트를 변경하면 이후 전체의 캐시가 무효화된다는 점을 알고 프롬프트 포맷팅을 다시 생각하게 됩니다. 제 이해가 맞나요? 캐시를 최대한 오래 유지하려면 시스템 프롬프트와 고정 지시문은 맨 위에 두고, 요약은 시스템 프롬프트 바로 뒤에 고정하되 매 턴이 아니라 주기적으로(num_ctx의 약 70% 도달 시)만 갱신하며, 타임스탬프나 동적 메타데이터는 프롬프트 상단에 두지 않아야 한다는 것인가요?