최근 2주 사이 오픈 의사결정 모델들이 갑자기 잇달아 공개되었다(Laya, Liquid의 d1, Cloudflare의 Clef-Flash, Interfaze의 Lev). 필자는 같은 GPU에서 이 모델들이 실제로 얼마나 차이 나는지 확인해 보고자 했다. 모델 크기가 큰 요인이긴 하지만 유일한 요인은 아니다. 네 모델 모두 지네에 관한 위키백과 문서 9개(총 9,534단어)를 단어 단위로 읽고 지네를 가리키는 단어마다 표시하는 동일한 과제를 수행했다. 단어마다 /v1/systemone 호출을 한 번씩 보냈으며, 응답이 돌아오는 즉시 다음 단어를 전송했다.

단어마다 보낸 요청은 {"state": "Word: \"Scolopendra\".", "questions": {"centipede": {"type": "noul", "instructions": "Does this word name a kind of centipede?"}}} 형태였다.

32초간 측정한 결과 Laya(Laya-BF16.gguf, llama.cpp b11495)는 단어당 p50 3.9ms로 7,980단어를 처리했고 정확도 97.4%, 지네 이름 포착률 70%, 잘못된 선택 98회를 기록했다. d1 3B(d1-3B-AD-Q4_K_M.gguf, llama.cpp b11495)는 단어당 6.0ms로 5,306단어, 정확도 96.5%, 포착률 51%, 오답 51회였다. Clef-Flash 9B(Clef-Flash-Q8_0.gguf, llama.cpp b11495)는 단어당 24.4ms로 1,292단어, 정확도 97.2%, 포착률 36%, 오답 2회를 기록했다. Lev 4B(interfaze-ai/lev, bf16, lev serve (PyTorch))는 단어당 51.0ms로 626단어, 정확도 98.9%, 포착률 83%, 오답 4회였다.

Laya와 d1이 속도에서는 다른 모델들을 크게 앞섰지만 정확도에서는 격차가 크지 않았다. 정확도가 95% 이상으로 표시되긴 하지만 '아니오'라고 답해도 정답으로 간주되기 때문에 수치가 높게 나온 것이다. 각 모델이 과제를 얼마나 잘 해냈는지가 더 중요한데, Lev가 가장 많은 지네 이름을 포착했지만 Laya보다 13배 느렸다. 이는 llama.cpp가 아닌 자체 PyTorch 서버에서 구동되기 때문이기도 하며, 다른 4090에서는 68ms로 측정되어 CPU에도 민감한 것으로 드러났다. 결국 Laya가 전체적으로 가장 빠른 모델이었고, 어떤 용도로든 파인튜닝이 쉽다는 점을 고려하면 기본 선택지로 꼽을 만하다는 결론이다.

테스트 환경은 다음과 같다. GPU는 대여한 RTX 4090(드라이버 580.119.02, vCPU 32개)이었고, 엔진은 llama.cpp b11495(커밋 37ac63456, CUDA 12.8 릴리스 빌드)에 -ngl 99를 적용하고 나머지는 기본값으로 실행했다. Laya와 Clef-Flash는 ggml-org의 GGUF를 사용했고, d1은 atomic.chat에서 만든 자체 AD-Q4_K_M 양자화 모델로 lfm2-d1 지원이 #30110에 반영된 이후 /v1/systemone에서 기본 구동된다. Lev는 Qwen3.5-4B에 Interfaze의 LoRA를 얹은 모델로 자체 lev serve에서 기본 설정으로 돌렸다(--compile 옵션은 워밍업을 끝내지 못했다). 지연 시간은 같은 머신의 Python 클라이언트에서 localhost를 거쳐 종단 간 측정했다. 이 게시물은 /u/Fun-Meaning-6474가 제출했다.