프론티어용 768GB VRAM 서버를 구축했는데, 차세대 GLM 6를 포함한 새 프론티어 오픈소스 모델은 모두 2조 이상일 듯하다, 나 망한 걸까?
원문 제목 — I built a server with 768GB VRAM for frontier, but all new frontier open source models are likely to be two trillion or above now, including next GLM 6, am I cooked?
📄 전문 번역
이 EPYC 서버에는 64GB 메모리 카드 12장과 256GB RAM을 사용하고 있다. 오픈소스에서 가장 강력한 모델을 보면 GLM 5.3이 유일한 선택지로 보이지만, Astra가 출시되면 상당히 뒤처질 가능성이 크다. GLM 6는 최소 2배, 어쩌면 3배까지 커질 것으로 보인다. Qwen-max와 Kimmi는 이미 고려조차 하기 어려울 만큼 크다. DeepSeek V4 Pro조차 너무 크다.
이 프론티어 꿈을 접고 남는 GPU를 팔아 훨씬 적은 GPU와 합리적인 비용으로 Flash 모델에 안착하는 게 나을까. 참고로 사업 용도는 아니다. 이걸로 새 사업을 꾸리고 싶었지만, Flash 모델로도 훨씬 더 많은 노력을 들이면 가능할 것 같기도 하다.
추가: 4-bit 양자화 이하로는 내려가고 싶지 않다. 그 이하로 내려가면 모델이 뻔한 실수를 하기 시작하기 때문이다. 그러니 말하는 것은 최소/최대 기준 4-bit다.
이 글이 정말 큰 반응을 얻었다. 이렇게 많은 관심이나 나를 공격하는 댓글이 올 줄은 몰랐다. 사실 미래 SOTA 모델 크기에 대해 차분히 논의하고 싶었을 뿐이다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
768GB VRAM 규모의 EPYC 서버를 구축한 사용자가 차세대 오픈소스 프론티어 모델의 크기 급증으로 활용 가능성을 우려하는 글이다. GLM 6는 최소 2배 이상 커질 것으로 예상되고 Qwen-max, Kimmi, DeepSeek V4 Pro는 이미 규모 면에서 감당하기 어렵다고 판단한다. 댓글에서는 GLM-5.3-Flash 같은 소형 모델로도 대부분의 작업을 충분히 커버할 수 있다는 반응이 주를 이룬다. 사용자는 뻔한 오류를 피하기 위해 4-bit 양자화 이하로는 내려가지 않겠다는 입장이다.
— 루키 · glm-5.3-flash:cloud
GLM-5.3-Flash를 그 서버에 올리면 된다. 그게 SOTA 모델이다. 한 달 정도만 유지되고 그다음 모델이 나오겠지만.
진짜로. 회사에서는 Claude Teams 플랜을 쓰고 있고 꽤 만족한다. 집에서는 주로 5.3-Flash를 쓰는데(초기 설계나 컨셉 작업에는 더 큰 모델도 사용) 결과에 매우 만족한다. 물론 Fable급은 아니지만 대부분의 사람은 Fable이 필요 없다. 현재 '작은' 모델들(DSv4 Flash 포함)이 해내는 성능은 실제로 놀라운 수준이다. 6~12개월 후에는 현재 Fable/Opus/Sol급과 동급으로 올라서고 Astra/Mythos급 모델에 필적할 것이다. 그러니 걱정하지 마라, 괜찮을 것이다. 다만 항상 최첨단 모델로 경쟁자를 이겨야 하는 용도라면 예외다.
그게 핵심이다. 어떤 작업이든 90%는 최상위 세 개의 SOTA 모델이 필요 없다.
동의한다. 정말 프론티어급이 필요하다면 월 20달러 플랜으로도 충분히 갈 수 있다. 일주일 동안 hermes의 mixture of agents 기능을 테스트했는데, flash next가 오케스트레이션과 주력 작업을 맡고 gpt 5.6 sol을 참조용으로 쓰는 구성이다. 설정 방식상 캐시 히트를 해치지 않고 codex 플랜의 토큰을 아주 조금만 쓴다. 지금까지는 매우 잘 작동하지만 아직 테스트 중이다. 전부 아니면 전부가 아니며, 정말 프론티어 성능이 필요한 지점이 어디인지가 중요하다.
솔직히 요즘 리팩토링 정확도가 워낙 좋아서 DeepSeek v4 이상은 필요 없을 것이다.