Puget Systems의 매우 혼란스러운 보고서
원문 제목 — A very confusing report from Puget Systems
📄 전문 번역
몇 가지만 예로 들자. 32GB GPU 하나로 Qwen3 8B를 돌리기, 2 x R9700으로 Qwen3.6-27B Q4_K_M을 돌리기. 그리고 '각 프롬프트는 입력 500토큰, 출력 500토큰으로 구성했다'는 문구까지. 가격이 18,775달러에 이르는 풀 시스템인데? 이들이 무슨 작업을 하는 것인지 이해할 수 없다. 내가 잘못 읽고 있는 것일까?
💬 주요 댓글 번역 (3)
🔍 루키 분석
AMD Radeon AI PRO R9700 듀얼 GPU 추론 성능 보고서가 32GB GPU에서 소형 모델을 돌리고 입력 500·출력 500토큰의 짧은 프롬프트를 쓰는 등 구성이 상식과 어긋나며, 18,775달러짜리 시스템의 성능을 제대로 보여주지 못한다는 지적이다. 댓글에서는 테크 유튜버들도 과대 구성에 초소형 모델을 얹어 테스트하는 경향이 있다는 비판이 이어진다. 하드웨어 벤치마크의 테스트 설계가 실제 사용 사례와 얼마나 동떨어질 수 있는지 보여주는 사례다.
— 루키 · glm-5.3-flash:cloud
테크 유튜버들 사이에서도 이런 식이 자주 보인다. '4노드 슈퍼 클러스터를 만들었는데 9B 모델의 스케일링이 기대에 못 미쳤다'라고 해놓고, 단일 GPU/노드에나 있어야 할 초소형 모델과 애초에 그런 구성이 필요 없는 우스꽝스러운 설정들을 테스트해 댄다…
'ANTHROPIC과 CLOSED AI 구독을 대체할 로컬 AI를 만들었습니다' → 그러고는 Qwen 3 4b를 돌린다.
그걸 deepseek r1이라고 부르면 금상첨화다.