수정: 모델은 LFM2.5-24B-A2B-Q4_K_M.gguf다. 어제 모두가 환호하는(아마도 봇일 테니, 이들이 이 모델로 무엇을 달성했는지 보고 싶다) 이 형편없는 모델에 관해 너무 단순하다는 평을 받은 글을 올렸다. 주된 비판은 어떤 설정 정보도 제공하지 않았다는 것이었다. 자, 여기 있다.

먼저 특정 아키텍처에 최적화된 llama.cpp 버전인 llamaampere에서 실행을 시도했다. 이를 통해 Qwen 3.8 27b Q4 Small을 나에게는 매우 높은 40-60tk/s 속도로 만족스러운 결과와 함께 구동할 수 있었다. 그러나 이번에는 적합하지 않았다. 모델이 계속 스스로 반복 루프에 빠지며 가장 쉬운 작업에서도 헤맸다. 그래도 RTX A4500 카드에서 130tk/s를 기록했으니 나름의 성과라 할 만했다.

이후 LM Studio로 바로 옮겨 속도를 희생하면서 어떻게 되는지 보기로 했다. LM Studio가 불안정한 동작을 안정화했다. 채팅을 조금 시도했고 대체로 그럭저럭 정확하게 응답했다. 설정을 밝히자면, LM Studio의 모든 엔진과 프레임워크를 2026년 10월 22일 기준 최신 버전으로 업데이트해 모두 초록색 체크 표시 상태이며, 모델 구성 스크린샷도 함께 공개했다.

이 모델이 openclaw, hermes 같은 에이전틱 하네스에서 특별히 훈련됐다는 점을 자랑 포인트로 내세웠다는 것을 알게 되어 Hermes 데스크톱을 설치하고 연결했다. 템플릿 수정을 두고 뭐라 할 사람을 위해 미리 대비했다. HuggingFace의 peculiar-ragdoll 저장소에 공개된 Sharp-LFM2.5-Chat-Templates의 chat_template.jinja를 템플릿 수정본으로 사용했다. Hermes 데스크톱에서 마이크로소프트의 Redis 클론인 Garnet을 활용하는 간단한 플러그인을 만들도록 요청했고, 결과는 프롬프트 엔지니어링을 주도하고 GPT로 결과를 검증한 ChatGPT가 분석했다. 결론은 이렇다. LFM2.5-24B-A2B는 Hermes 메모리 플러그인 작업에서 부진했으며, 깨진 코드를 생성하고 필요한 기능을 누락했으며, 엔드투엔드 테스트 없이 검증을 주장했다. Sharp 템플릿 수정을 적용해 봤지만 크게 달라지지 않았다. 제안이 있는가?

수정: 모델명은 LFM2.5-24B-A2B-Q4_K_M.gguf다.