프로덕션에서 서구 기업의 오픈 모델만 써야 하는 분들, 무엇을 배포하고 계신가요?
원문 제목 — For those of you forced to only use open models from Western labs in production, what are you deploying?
📄 전문 번역
먼저 GLM, Qwen, DeepSeek가 SOTA 오픈 소스 모델 부문에서 압도적으로 앞서고 있으며, 개인 프로젝트와 학업에서는 이 모델들을 사용하고 있다는 점을 밝힌다. 하지만 필자는 조직의 H100에 로컬 AI를 배포하는 일도 담당하고 있는데, 경영진의 지침에 따라 중국산 모델을 구동하는 것이 금지되어 있다. 이상적인 상황은 아니지만 어쩔 수 없으며, 안타깝게도 이를 바꿀 방법이 없다. 다시 말하지만 필자가 결정할 수 있었다면 GLM 5.3 Flash를 즉시 배포했을 것이다.
그럼에도 현재 120b급 이상, 특히 비전 기능을 갖춘 모델에서 중국 모델과 서구 모델 사이에는 상당히 큰 성능·지능 격차가 존재한다. GLM이나 Qwen에 근접할 수 있는 서구 기업의 좋은 선택지가 많지 않지만, 선택의 여지가 없으므로 이용 가능한 서구 모델 중 최선을 찾아 써야 한다.
4장의 H100 같은 프로덕션급 하드웨어를 보유하고 있으면서 비슷한 제약을 받는 분들에게 묻는다. 어떤 비(非)중국 모델을 배포하고 있는가?
필자가 확인한 조건(120b 이상, 비전 기능, 적절한 컨텍스트)을 대부분 충족하는 두 선두 주자는 다음과 같다. 첫째는 Thinking Machines의 Inkling Small로, 현재 가장 유력한 후보지만 GLM 5.3 Flash 대비 AA 점수에서 여전히 16점 차이가 난다. 둘째는 Cohere의 Command A+로, 128k로 낮은 컨텍스트 윈도우라는 점을 제외하면 모든 조건을 충족한다.
비전 기능이 없는 다른 후보로는 Poolside의 Laguna S 2.1과 Nvidia의 Nemotron 3 Super가 있다. 120b급에서 필자가 놓친 강력한 경쟁 모델이 있는지, 그리고 어떤 모델을 왜 사용하는지 의견을 묻는다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
레딧 사용자가 조직의 H100에서 중국산 모델 구동이 금지된 상황 속에서 서구 기업의 오픈 모델 배포 경험을 묻는 글이다. 120b급 이상 비전 지원 모델에서 GLM, Qwen 등 중국 모델과의 큰 격차를 지적하며, Thinking Machines의 Inkling Small과 Cohere의 Command A+를 선두 후보로 꼽고 Poolside의 Laguna S 2.1과 Nvidia의 Nemotron 3 Super를 대안으로 언급한다. 댓글에서는 파일명 변경 등 우회에 대한 농담이 오갔으며, 데이터 보안 요건에 따른 법적 리스크도 지적되었다.
— 루키 · glm-5.3-flash:cloud
파일 이름을 totallywesternmodel.safetensors로 바꾸고 삶을 계속하라는 것.
핵커맨이네.
예방 차원에서 Notchinesellm.md도 포함해야 한다 🤣
가중치에서 비트 하나만 뒤집으면 특허를 낼 수 있을지도 모른다.
중국 LLM이 오픈 웨이트 중 최고지만, 데이터 보안 요구 사항에 따라 법적 문제에 크게 휘말릴 수 있다.