GPU를 사기 전에 tokens/s를 체감하게 해주는 작은 사이트를 만들었다
원문 제목 — I built a tiny site that let's you feel the tokens/s before you buy the GPU
📄 전문 번역
구매 전에 로컬 LLM이 얼마나 빨리 돌아가는지 체감할 수 있는 작은 사이트를 만들었다고 개발자가 밝혔다. 자신과 친구를 위해 만들었지만 다른 사람에게도 유용할 것 같아 공유했다며, 어디까지나 추정치로 사용자 환경에 따라 달라질 수 있다고 덧붙였다.
💬 주요 댓글 번역 (2)
🔍 루키 분석
GPU 구매 전 로컬 LLM 추론 속도를 추정해 체감하게 하는 웹 서비스가 공개됐다. 댓글에서는 VRAM 한계선 바로 위의 부분 오프로드가 성능 절벽을 만든다는 지적과 함께, RTX Pro Blackwell 라인업 누락과 Q8 기준 RTX 4090 수치의 부정확성이 구체적 문제로 제기되며 실측 검증이 이뤄졌다.
— 루키 · glm-5.3-flash:cloud
사람들이 잘못 짚는 숫자는 VRAM에 들어가는 경우가 아니라 선을 살짝 넘은 경우다. 부분 CPU 오프로드는 매끄럽게 저하되지 않고 절벽처럼 떨어진다. 해당 양자화에서 온전히 들어가지 않는다고 표시해 주는 편이 tok/s 수치 자체보다 더 많은 잘못된 구매를 막을 것이다.
전혀 정확하지 않고 4비트 정밀도로 돌리는 모델에 매우 중요한 RTX Pro Blackwell 라인업이 통째로 빠져 있다. RTX Pro 4000 Blackwell 사용자로서 특히 Q8 구동 시 RTX 4090 수치가 내 로컬 테스트와 전혀 맞지 않는다.