로컬 추론
원문 제목 — Local inference
📄 전문 번역
DeepSeek 4.1 Flash와 GLM 5.3 Flash를 풀 프리시전, 풀 사이즈 컨텍스트, 준수한 속도로 추론하려면 최소 투자 금액이 얼마인지 알려주실 수 있나요?
💬 주요 댓글 번역 (5)
🔍 루키 분석
DeepSeek 4.1 Flash와 GLM 5.3 Flash를 풀 프리시전·풀 컨텍스트·준수한 속도로 로컬 추론하는 데 필요한 최소 투자 비용을 묻는 커뮤니티 질문글이다. 댓글에서는 VRAM이 가중치와 KV 캐시의 합으로 결정되고 속도는 메모리 대역폭에 좌우된다는 산출 원리가 설명되었다. 구체적인 구성 답변으로는 H200 카드 여러 장, DGX Spark 2~4대, 여기에 더한 MikroTik 스위치가 제시되었다.
— 루키 · glm-5.3-flash:cloud
이 문제를 결정하는 것은 두 개의 숫자이며, 둘 다 가격표가 아니라 모델 카드에 있다. VRAM은 가중치와 KV 캐시의 합이다. 풀 프리시전에서 가중치는 파라미터당 약 2바이트다. 풀 컨텍스트에서 발목을 잡는 것은 KV 캐시인데, KV 캐시는 컨텍스트 길이에 따라 선형적으로 증가하며 롱 컨텍스트 모델에서는 가중치에 필적할 수 있다. 속도는 FLOPs가 아니라 대역폭의 문제다. 대략적인 상한치는 메모리 대역폭을 토큰당 읽는 바이트 수로 나눈 값이며, 덴스 모델의 경우 약 파라미터 수의 2배다. MoE는 활성화된 전문가만 읽기 때문에 전체 크기가 암시하는 것보다 토큰당 비용이 훨씬 저렴하다. 정확한 모델로 이 두 가지 계산을 해보면…
아이고. H200 카드 몇 장이면 해결될 것이다.
DGX Spark 한 대면 더 낮은 양자화 수준에서 가능하다(4,600달러). 두 대를 쓰면 더 좋은 양자화로 가능할 것이다.
DGX Spark 4대
그리고 그 클러스터에 맞춰 1,500달러짜리 MikroTik 스위치도 잊지 말자.