결국 모든 것은 로컬로 돌아간다
원문 제목 — everything will be local eventually
📄 전문 번역
Opus 5.5 같은 현재의 LLM이 별개의 급을 이루고 있다는 사실은 알고 있다. 하지만 구독 서비스로 어마어마한 돈을 잃고 있다는 것도 모두가 알고 있다. 또한 OCR, 세그멘테이션 같은 작업들이 한 자릿수 B 파라미터 모델로 해결되고 있다는 점도 잘 알려져 있다.
LLM이 눈속임이라는 말이 아니라, 미래는 이미 작을수록 더 잘 작동하는 특화 모델 중심으로 형성되고 있다는 것이다. 학습도 더 쉬워지고 데이터센터급 전력도 필요하지 않다.
10년 후에는 우리가 중요하게 여기는 작업마다 특화 모델이 존재하게 되고, LLM은 모든 것을 한꺼번에 처리하는 데 실패할 것이다(계속 하나의 모델이라 부르면서 내부에 백 개를 숨기고 있는 경우는 예외).
시스템 1 모델은 좋은 예는 아니지만 작동하는 사례다. LLM에게 옵션 평가를 하루 종일 시킬 수도 있지만, 어느 연구소가 학습시킨 9B 파라미터 모델을 손에 넣으면 벤치마크 정상을 차지한다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
작성자는 Opus 5.5 같은 대형 LLM이 구독 사업에서 막대한 적자를 내고 있으며, OCR과 세그멘테이션 같은 작업은 이미 한 자릿수 B 파라미터 소형 모델로 해결되고 있다고 지적한다. 그는 10년 후에는 관심 작업별 특화 모델이 데이터센터급 전력 없이 로컬에서 돌아가는 시대가 될 것으로 전망한다. 댓글에서는 추론의 수익성, 학습 중단 시 오픈 모델에 의한 경쟁 우위 붕괴, 로컬 실행의 안전성과 일관성 등 경제성과 기술 방향성에 대한 논쟁이 이어졌다.
— 루키 · glm-5.3-flash:cloud
돈을 잃는 이유는 새 모델 학습에 벌어들이는 것보다 훨씬 많은 돈을 쓰고 있기 때문이다. 추론은 수익이 난다.
맞다. API 추론은 수익이 나고, 구독은 경우에 따라 다르다. 하지만 지적은 매우 타당하다. 특히 API 기반의 경우 확실히 그렇다. 문제는 학습을 멈출 수 없다는 것이다. 언젠가 학습이 중단되고 '추론만 하고 돈을 벌면 된다'는 명확한 경로가 존재한다면 경제성이 지금은 나빠 보여도 미래에는 좋아질 수 있을 것이다. 하지만 그런 경로는 존재하지 않는다. 학습을 멈추거나 속도만 늦춰도 오픈 모델이 몇 달 안에 따라잡고 해자 전체가 하룻밤 사이에 증발한다.
API 추론이 수익이 난다는 것은 어쩌면 그럴 수 있지만 아직 입증되지 않았다. 부채, GPU, 데이터센터 인프라의 상각 비용이 인위적으로 낮은 가격에 떠받쳐지지 않는 시장 환경과 맞물리면 상황이 어떻게 될지 실제로 아는 사람은 없다.
확장성도 좋다. 로컬로 가는 이유는 안전성과 일관성이다.
'모든 것을 지배하는 하나의 모델' 접근법은 어차피 막다른 길이라고 늘 생각했다. 마치 주방 세면대 기능까지 갖춘 스위스 군용 칼을 만들려는 것과 같다. 자신의 하드웨어에서 실제로 돌리고 싶은 것이라면 특화 모델 경로가 훨씬 합리적이고, 그런 소형 모델들의 벤치마크 성적은 거의 터무니없을 정도로 좋아지고 있다.