어쩌면 'Use llama.cpp'라고 말해야 할 수도 있다
원문 제목 — Need maybe say "Use llama.cpp"
📄 전문 번역
필자는 요즘 모두가 입에 담는 그 기적의 엔진을 직접 시험해 보았다. 다소 긴 생성에서 tps(초당 토큰 처리 속도)를 측정하기 위해 IQ3_S 모델에게 이 서브레딧의 한 게시물에 대한 의견을 표현하게 했다. 프롬프트는 '다음 문제를 도와줄 수 있나. Kimi K2도 구식이 되었고 GPT OSS 120b 역시 구식이다. 최신 오픈 웨이트 모델 중 아첨(sycophancy)이 가장 적은 모델은 어디인가. 창작·리서치 어시스턴트 용도(아첨 탓에 잘못된 아이디어의 막다른 길로 여러 번 빠져 들었다)와 에이전틱 코딩(아첨이 많을수록 버그 발견이 줄어든다)을 위해 이 답이 필요하다'였다.
사고 흔적 초반은 이러했다. '사용자의 질문에 답해야 한다. 2026년 기준 현황을 제시해야 할 것이다. get_datetime 도구가 있다. 현재 날짜가 2026년인지 알아야 하나. 시스템은 현재 날짜를 2026-06-22로 명시한다. get_datetime을 호출해 확인할 수도 있다. 사용자는 아첨이 가장 적은 최신 오픈 웨이트 모델을 물었고, Kimi K2가 구식이라는 점을 논의해야 할 것이다.'
그러나 1만 토큰이 지나자 사고 흔적은 'Need maybe maybe include Use for code, list constraints', 'Need maybe maybe include Use for code, list requirements' 같은 문구를 되풀이하는 루프로 퇴화했다. 반면 정확히 동일한 모델을 llama.cpp에서 구동하면 루프에 빠지지 않고 일관된 답변을 생성했다. 이 게시물은 /u/pand5461이 제출했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
게시물은 커뮤니티에서 화제인 특정 추론 엔진에서 IQ3_S 양자화 모델의 긴 생성 중 사고 흔적이 반복 루프에 빠지는 둠 루프 현상을 보고한다. 동일 모델이 llama.cpp에서는 루프 없이 일관된 답변을 생성했다는 점에서, 추론 엔진 선택이 저비트 양자화 모델의 출력 안정성에 영향을 줄 수 있음을 시사한다. 댓글에서는 해당 엔진의 정체를 Strata에 Qwen.3.8 Flash Next를 결합한 것으로 추측하며, 이름이 길어 토큰 2개를 소모한다는 농담이 오갔다.
— 루키 · glm-5.3-flash:cloud
이제 OP의 피드에서 모두가 말하는 그 엔진이 무엇인지 알아내야 한다
아마 Strata에 Qwen.3.8 Flash Next를 결합한 것 아닐까
아, 이제 이해했다. 6글자나 되는 단어 하나네. 이유도 없이 그걸 타이핑한다고 상상이나 되는가
무려 토큰 2개!
그렇지, 언급된 IQ3 양자화를 고려하면 더욱 그렇다