이미 LLM에게 답을 줬는데도 모델은 왜 그 답을 처음부터 다시 써내는가. 새로운 AI 모델 아키텍처인 Constrained Decoding Models(CDMs)가 소개됐다.

LLM은 글을 쓰기 위해 만들어졌지만 대부분의 프로덕션 워크로드는 빠르고, 일관되고, 저렴한 답만 필요로 한다. CDM은 각각 하나의 작업에 특화되도록 설계돼 입력을 한 번만 읽고 LLM을 느리고 비싸게 만드는 토큰 단위 생성 루프를 건너뛴다.

단순한 의사결정 모델이 아니라 3종의 CDM 패밀리가 공개됐다. Classify는 라벨을 정의하면 각 라벨에 대한 보정된 확률과 근거를 돌려주며 라우팅, 태깅, 의도 탐지에 쓰인다. Extract는 개체를 자연어로 기술하면 신뢰도 점수와 출처가 붙은 잘 정돈된 JSON을 돌려주며 웹 스크래핑, 문서 처리, PII 삭제에 활용된다. Summarize는 긴 텍스트, 이미지, PDF를 넣으면 1,000토큰 미만의 일관된 요약을 돌려주며 컨텍스트 압축, 메타데이터 생성, 전사본 요약에 쓰인다.

프로덕션 대응 성능도 내세운다. 멀티모달(텍스트+이미지) 입력은 100만 토큰으로 Jev보다 31배 크고, DecisionBench 점수는 77.2%로 Jev의 72%를 앞선다. 프런티어 LLM API 대비 200배 빠르고 467배 저렴하며, 입력 토큰 100만 개당 0.05달러에 출력은 무료다(요약 작업도 포함).

CDM은 현재 @OpenRouter, @vercel_dev, @LiteLLM, @LangChain, @TrustedRouter, @itsArthurAI, @useRouterPlus 등 주요 플랫폼에서 이용할 수 있으며, 링크를 통해 첫 50시간 동안 5,000만 입력 토큰을 무료로 받을 수 있는 프로모션도 진행 중이다.