Basalt, 5090 + 5060 Ti에서 구조화 665 tok/s·프로즈 354 tok/s로 Flash-Next 구동 (Strata 대비 2.6배)
원문 제목 — Basalt: Flash-Next at 665 tok/s structured, 354 prose on a 5090 + 5060 Ti (2.6x Strata)
📄 전문 번역
Basalt는 Blackwell 추론 엔진이다. 개발자는 지난 일주일간 Strata를 포크해 집중적으로 튜닝했으며, 동일 가중치에서 Strata 대비 최대 2.6배의 처리량을 달성했다. 이 엔진은 Qwen3.8 Flash-Next와 Blackwell 아키텍처만 지원하는 특화 엔진으로 설계됐으며, 개발자의 현재 하드웨어인 5090 + 5060 Ti 듀얼 GPU 구성(9950X, 32GB DDR5 RAM)도 지원한다.
속도가 최대 강점이다. IQ3_XXS 양자화 기준 400W 소비 전력에서 구조화 665 tok/s, 프로즈 354 tok/s, 64k 컨텍스트 프리필 7,317 tok/s를 기록한다. 5060 Ti 없이 5090 단일 카드로도 구동 가능하며 이 경우 구조화 585 tok/s, 프로즈 316 tok/s로 약 12% 느려지지만 프리필은 동일하다. 공유 KV 또는 슬롯별 KV 방식과 MTP를 갖춰 최대 8명의 실질 동시 사용자를 지원하며, 8개 스트림에서 총 623 tok/s를 기록했다. 저비트 양자화용으로 파인튜닝한 MTP로 처리량을 높였다.
처음부터 새로 설계한 자체 비전 인코더는 GPU에서 llama.cpp 대비 최대 3배, CPU에서 4배 빠르다. 동시성 통계, 전문가 분포, 하드웨어 통계를 보여주는 간단한 서버 UI를 제공하며 채팅 기능은 없고 OpenAI 및 Anthropic 호환 API를 지원한다. OS는 Linux만 지원하며 Windows와 Mac은 지원하지 않는다.
Basalt는 NInfer와 유사한 형식을 채택해 가중치를 재양자화하지 않고 메타데이터, 비전, MTP를 모두 포함한 .basalt 파일로 리패킹한다. 덕분에 양자화별로 파일 하나만 유지하면 된다. 초기 지원 가중치는 ISTA-DASLab의 GSQ-RCO Q2, IQ3_XXS, IQ3_S와 Unsloth의 UD-Q4_K_XL, Q8이며, VRAM과 RAM 예산 및 양자화 선호에 따라 선택할 수 있다.
프로젝트는 MIT 라이선스의 완전 오픈소스이며 가중치는 Hugging Face에 공개됐다. 개발자는 IQ3_S가 좋은 절충안(자신의 환경에서 약 89% top-1 일치율, 프로즈 300 tok/s)이라고 밝혔다. Strata에 업스트림 기여하지 않은 이유로는 단일 기능이 아니라 디코드 커널 대부분과 프리필 일부를 재작성하고 AMD, 인텔, 구세대 엔비디아 등 비(非)Blackwell 카드 지원을 제거하는 수준의 변경이었기 때문이라고 설명했다. 다만 Strata와 llama.cpp에는 패치를 기여했으며 중요한 발견은 업스트림에 반영할 계획이다. AMD 지원 요청에는 직접 테스트할 수 있는 하드웨어만 지원하겠다고 답했고, 400 tok/s 달성에 대해선 여전히 노력 중이라고 밝혔다. 바이브 코딩 결과물이라는 지적에는 빠르기 때문에 상관없다며 이제 아무도 CUDA 커널을 손으로 작성하지 않는다고 반박했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Strata를 포크한 Blackwell 전용 추론 엔진 Basalt가 공개됐으며, 동일 가중치에서 최대 2.6배의 처리량이 핵심 강점이다. Qwen3.8 Flash-Next 전용으로 디코드 커널 대부분을 재작성했고 MIT 라이선스로 오픈소스화됐다. 다만 커뮤니티에서는 바이브 코딩 엔진의 품질 검증 문제가 논의됐으며, Basalt의 KLD 측정치가 우려스럽다는 반응과 함께 양자화 방식이 출력 품질에 미치는 영향에 대한 해석이 이어졌다.
— 루키 · glm-5.3-flash:cloud
이런 바이브 코딩 엔진의 주된 문제는 제작자가 AI가 실제로 뭘 하는지 모른다는 점이다. 그래서 속도 향상을 위해 실제로는 모델을 로보토미하는 '최적화'가 나온다. 활성화 양자화, 이상한 샘플링 설정(Strata는 기본값이 temp 0인데 아마 MTP에서 더 큰 속도 향상을 얻으려는 것) 등이 그 예다. 여전히 Strata의 KLD 측정치를 본 적이 없는데, 아마 제작자가 KLD가 뭔지도 모르기 때문일 것이다. 수정: 이 저장소의 KLD 측정치를 봤는데 그것도 나름 우려스럽다. 저렇게 높은 KL에 낮은 top-1이 어떻게 나올 수 있는지 모르겠다.
하지만 Fable과 Opus 5.5는 KLD에 대해 모두 알고 있고 대신 처리해주지! 동의한다. Strata를 조금 써봤는데 나는 충분히 철저히 테스트할 만큼 잘 모른다. Fable에게 몇 가지 작업을 시켰고 결과는 충분히 괜찮아 보였지만 기억 회상이 상당히 좋지 않았다. 그게 Flash Next의 특성인지 Strata 탓인지 모르겠고, 이걸 알아보려고 계속 테스트할 의지가 얼마나 있는지도 모르겠다.
아마 양자화(GSQ-RCO IQ3 양자화는 Q4_K_L 같은 것과는 격차가 크다), 활성화 양자화, KV 캐시 양자화가 결합된 결과일 가능성이 높다. 활성화를 전체 정밀도로 유지하는 건 약간의 속도만 희생하면 되고, 가능하다면 Q4 모델 양자화로 가면 모델 성능을 사실상 온전히 얻을 수 있다. Q8 KV 캐시도 그리 해롭지 않다. Q4 KV 캐시만 쓰지 않으면 된다.
감사하다. 나는 16GB VRAM의 4060 Ti와 128GB DDR4를 갖고 있어서 Opus에서 오프로드하려는 노력 속에 이걸 어떻게 활용할지 아직 고민 중이다.
실제로 KLD가 더 낮은데도 덜 양자화된 모델보다 성능이 나을 수는 없다. 즉 Q4_K_L 대비 GSQ-RCO-IQ3의 경우다.