로컬 LLM용 3090이나 기타 30xx를 보유하고 있다면 준비한 것이 있다
원문 제목 — If you have a 3090, or other 30xx for local LLMs, I have something for you
📄 전문 번역
필자는 Ampere 아키텍처에 특화해 설계한 llama.cpp 커스텀 포크를 공개한다(다만 상당수 업그레이드는 Blackwell과 Lovelace에서도 더 빠른 성능으로 이어진다). 권장 설정은 최대 240K 컨텍스트에서 100K 토큰 구간까지 90 TPS 이상을 지원하며, 에이전트·코딩 작업 기준 temp 1이고 greedy 방식에서는 더 빠르다. 저장소는 GitHub에서 llamAmpere라는 이름으로 공개되어 있다.
필자는 약 4 K M 수준의 품질을 유지하면서 상당히 빠르고, 기술적으로는 3 K XL 업그레이드에 해당하는 양자화 모델 Qwen3.8-27B-ATX-IQ4_XS-M-GGUF를 Hugging Face에서 실행할 것을 권장한다.
200K 컨텍스트에서 경쟁 구현 대비 80% 더 빠른 성능의 원리를 다룬 장문 심층 분석 글도 X에 공개되어 있다.
3090에서 최소 27B 모델 기준 API 속도보다 빠르게 구동되는 것은 필자에게 모델과 그래픽카드의 활용도를 한 단계 바꾸어 놓는 변화였다. 많은 이용을 바란다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
3090 등 Ampere 아키텍처 GPU 사용자를 위해 llama.cpp 커스텀 포크 llamAmpere가 공개되었다. 게시자는 권장 설정에서 최대 240K 컨텍스트로 100K 토큰 구간 90 TPS 이상, 200K 컨텍스트에서 경쟁 구현 대비 80% 빠른 성능을 주장하며 27B 모델 기준 API 속도를 넘는 로컬 구동을 강조한다. 댓글에서는 별도 포크 대신 상위 저장소 PR 기여의 필요성, turboquant의 V 정확도 장점, Huawei의 kvarn KV 캐시 양자화와의 비교 필요성이 논의되었다.
— 루키 · glm-5.3-flash:cloud
포크 형태로도 이상적이지만, 별도 포크보다는 상위 저장소에 PR로 기여되는 것이 더 바람직하다. 현재 상태로는 코드 감사가 어렵다.
이상적으로는 그렇지만 상위 저장소의 turboquant는 이미 수개월째 main 병합 대기 중이라 기대하지 않는 편이 좋다. 평가는 직접 실행하기 매우 쉬우며, 같은 프롬프트를 greedy로 돌려 비교하면 된다. 출력 품질보다 속도 쪽이 통계적 유의성을 확인하기 훨씬 빠르다.
turboquant를 좋아하는 이유는 무엇인가?
4비트보다 V 정확도를 더 잘 유지하면서 크기도 더 작기 때문이다.
Huawei가 개발하고 beellama.cpp에 구현된 kvarn KV 캐시 양자화는 어떤가. 비교 테스트를 진행했는가. kvarn이 더 나은 것으로 알고 있다.