RTX 3000 시리즈는 BF16을 거의 2배 빠르게 구동할 수 있다 - NVIDIA가 하드웨어 한계가 아닌 커널로 이를 잠가둔 것으로 밝혀졌다
원문 제목 — It turns out RTX 3000 series can run BF16 almost 2x faster - NVIDIA locked it via kernel not a hardware limitation
📄 전문 번역
공식 Ubuntu 저장소: GitHub의 Zagitta/gpu-unlock
Windows 저장소 메인: GitHub의 impacifist/Windows-GPU-UNLOCK
Windows 저장소 포크: GitHub의 bjrasmussen-jpg/windows_rtx3090_unlock
💬 주요 댓글 번역 (5)
🔍 루키 분석
RTX 3000 시리즈의 BF16 성능 저하는 하드웨어 한계가 아닌 NVIDIA의 커널 수준 잠금 때문이며, 이를 우회하는 Ubuntu 및 Windows용 잠금 해제 저장소가 공개되었다. 다만 댓글에서는 메모리 병목 LLM 등 실사용 환경에서는 다른 제약으로 인해 체감 향상이 10~12%에 그친다는 지적이 나왔다. Int8은 이미 bf16과 fp16보다 2배 빠르므로, 잠금 해제 시 bf16 모델이 Int8 수준의 속도에 도달할 수 있다는 기대도 제기되었다.
— 루키 · glm-5.3-flash:cloud
트윗을 제대로 읽은 걸까 - 다른 제약이 작용해 실사용에서는 10~12% 향상에 그쳤다는 건가? 그렇다면 10% 향상을 위해 카드가 타버릴 위험은 감수하지 않겠다. 그 정도는 다른 가속 방법으로도 얻을 수 있다(예: 오늘 MOSS-Image Spectrum 트윅으로 ComfyUI에서 추가 20% 속도 향상을 얻었다).
그의 실사용 사례가 메모리 병목 LLM이기 때문이다. 이번 잠금 해제가 생성형 AI에서 ConvRot Int8 수준의 속도를 가져올 수 있다고 예측한다.
그는 또 이렇게 말한다.... 'int8 전문가(experts)는 [...] 전혀 빨라지지 않았다'고?
Int8은 이미 빠르다. bf16과 fp16보다 2배 빠르다. 이번 잠금 해제는 bf16을 그 속도 수준으로 끌어올린다.
아, 이해했다. 그렇다면... 전체 bf16 모델을 int8만큼 빠르게 구동할 수 있다는 건가?