Ninfer와 5090으로 돌린 3.8 27B, 너무 좋아서 기쁨의 눈물이 난다
원문 제목 — Ninfer and a 5090 with 3.8 27B is making me cry tears of joy it's so good.
📄 전문 번역
최신 버전을 빌드했더니 최대 220토큰/초, 평균 170대 토큰/초가 나온다. 도무지 그만둘 수가 없다. 이 프로젝트에 참여하는 사람이 있다면 진심으로 경의를 표한다. 정말 놀라운 작업이다. llama.cpp 대비 처리량을 두 배 이상 끌어올렸다는 게 믿기지 않는다.
내가 구성한 설정은 이렇다: ninfer-serve로 qwen3.8-27b-nvfp4 모델을 띄우고 최대 컨텍스트 240000, KV 용량 240000, 최대 동시성 2, KV dtype fp8, 호스트 KV 16384MiB, MTP 스페큘레이션(draft 토큰 3), lm-head-draft, 비전 지원, 미디어 2048MiB 옵션을 사용했다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
새 추론 런타임 Ninfer를 RTX 5090에서 qwen3.8-27b nvfp4 모델로 구동해 최대 220 tok/s, 평균 170대 tok/s를 기록했다는 후기다. 최대 컨텍스트 240000, KV dtype fp8, MTP 스페큘레이티브 디코딩 등의 설정이 공개됐고 llama.cpp 대비 두 배 이상의 처리량을 평가한다. 댓글에서는 qwen3.8-27b 에이전트 여러 개를 조합해 LiveCodeBench에서 Fable 5급 구성을 만들었다는 후속 사례가 소개되고, '지금이 앞으로 가장 나쁜 시점'이라는 반응이 이어진다. 로컬 추론 소프트웨어 경쟁이 달궈지고 있음을 보여주는 글이다.
— 루키 · glm-5.3-flash:cloud
동감이다. 방금 qwen3.8-27b 에이전트 여러 개를 LiveCodeBench에서 Fable 5에 필적하는 구성으로 돌린다는 글을 읽었다. 몇 분 만에 같은 접근법으로 Hermes 스킬을 세팅했다. 미쳤다. 뭐가 더 미친 건지 모르겠다. 성능인지
이게 지금으로서는 가장 나쁜 성능이라는 게 대단한 부분이다.
가장 나쁜 성능이냐면 맞다. 가장 저렴하기까지 하냐고? 그건…… 글쎄다…………