2026년 10월 31일 (토)

PINKSKY NEWS

매일의 기록을 뉴스처럼

테크

JEV 사실상 종말: CLM vs JEV

원문 제목 — JEV almost dead: CLM vs JEV

📄 전문 번역

CLM(Contrastive Language Models)은 Qwen3-8B용 새로운 프로젝션 헤드로, GitHub와 Hugging Face에 공개되었다. API 및 기능 인터페이스 수준에서 CLM은 Jev가 지원하는 모든 것을 지원하며 하위 집합이 아니다. 다만 일반화, 컨텍스트 규모, 아키텍처 측면에서 두 모델 간 중요한 트레이드오프가 존재한다.

기능적 동등성 측면에서 CLM은 TypeSafe AI의 Jev에 대한 오픈 웨이트, 셀프 호스팅 대안으로 설계되었으며, 동일한 'System One' 결정 인터페이스를 구현하고 Jev의 세 가지 핵심 질문 프리미티브를 모두 지원한다. Choice는 이산적인 후보 집합을 평가해 범주형 확률 분포를 반환하고, Noul은 명제나 가드레일 검사에 대한 보정된 참/거짓 확률을 출력하며, Score는 입력을 순서형 루브릭이나 척도에 따라 채점한다. TypeSafe Jev 클라이언트용으로 작성된 코드는 clm-serve 엔드포인트를 가리키는 드롭인 호환 방식으로 그대로 사용할 수 있다.

CLM이 Jev를 앞서는 부분으로는 지연 시간과 분리형 캐싱이 꼽힌다. Jev는 상태와 질문 선택을 함께 평가하는 독점 클라우드 모델이지만, CLM은 상태 헤드와 액션 헤드를 분리해 에이전트가 영구적인 도구나 액션 집합을 가질 경우 해당 액션을 한 번 임베딩해 캐싱한다. 인터랙티브 브라우저 에이전트와 게이밍(T-Rex, Super Mario) 벤치마크에서 CLM은 Jev보다 4배에서 13배 빠르다. 또한 Jev는 사용자 파인튜닝이 불가능한 폐쇄형 API인 반면, CLM의 헤드는 약 75MB의 작은 오픈 웨이트라 자체 에이전트 궤적으로 파인튜닝할 수 있으며, 이렇게 파인튜닝하면 Terminal-Bench 2.1(87.6%)과 DeepSWE(81.6%)에서 최고 수준의 검증기 성능을 달성한다. 제로샷 Jev는 정확히 이 벤치마크들에서 고전해 DeepSWE에서 약 71%를 기록했다.

Jev가 여전히 우위를 유지하는 부분도 있다. 제로샷 광범위 지식에서 Jev는 더 큰 독점 모델이 뒷받침하며, 제로샷 오픈 도메인 작업에서 엣지 케이스 정확도 우위를 보인다. Berkeley Function Calling Leaderboard v4에서 Jev는 99.2%를 기록한 반면 CLM-8B는 95.2%였고, WikiRacing에서는 Jev 30/30 대 CLM-8B 26/30이었다. 컨텍스트 예산에서 Jev는 기본적으로 최대 64K 토큰 컨텍스트 요청을 수락하지만, CLM-8B는 2K~8K 컨텍스트에서 테스트 및 보정되었으며, Qwen3 백본이 더 긴 프롬프트를 수락할 수 있어도 8K를 넘는 표현은 참조 헤드에 대해 보정되지 않았다. 확률 정규화에서 CLM은 요청에 전달된 후보에 대해 내적과 소프트맥스로 확률을 계산하므로 확률이 제공된 후보 집합에 상대적인 반면, Jev의 채점은 절대 기준에 대해 내부적으로 보정된다.

요약하면 CLM을 Jev 대신 사용해도 API 기능 손실은 없다. 전체 프리미티브 집합(Choice, Noul, Score)을 대규모 지연 시간 개선과 제로 API 비용으로 얻으며, TypeSafe의 호스팅 서비스 대비 틈새 도메인 외 작업에서 일부 제로샷 일반화만 희생하면 된다.

💬 주요 댓글 번역 (4)

1 익명

새 마케팅 기술의 수명 주기를 Any% 스피드런으로 세계 기록을 세운 것일지도 모르겠다.

2 익명

별로 빛나지 않는 기술에 미친 수준의 여론 조작과 마케팅을 벌였다. 매우 짜증난다.

3 익명

여론 조작을 극심하게 벌인 것 같다는 데 동의한다. 개념 자체도 그리 참신하지 않은데 과장된 홍보가 다소 짜증난다. 그럼에도 비자기회귀적 보정된 의사결정은 이미 존재했음에도 과소 활용되었고, 파인튜닝 없이도 이렇게 범용적인 모델이 있다는 점은 편리하다. 이 분야에 관심이 쏠린 지금, 후자의 측면에서 로컬 모델이 얼마나 빨리 따라잡을지 지켜볼 만하다.

4 익명

막대한 여론 조작을 벌인 것은 자금이 필요했기 때문이다. 전형적인 AI 업계 방식이다. 사실이 아닌 거대한 주장을 하고 계속 사실인 것처럼 꾸민다. 그 거짓말이 뭘 가져다주나? 3억 달러 이상의 투자? 시스템은 명백히 잘못된 것에 보상하고 있다. 이는 버블 논리다.

🔍 루키 분석

Qwen3-8B 기반 오픈 웨이트 프로젝션 헤드인 CLM이 TypeSafe AI의 클라우드 모델 Jev와 API 프리미티브 수준에서 동등하며, 브라우저 에이전트와 게이밍 벤치마크에서 4~13배 빠른 지연 시간을 기록했다. 파인튜닝 시 Terminal-Bench 2.1과 DeepSWE에서 최고 수준 검증기 성능을 달성하지만, 제로샷 일반화, 64K 컨텍스트 지원, 절대 기준 보정 채점에서는 Jev가 우위를 유지한다. 댓글에서는 Jev 홍보 과정의 여론 조작 의혹과 과대 마케팅에 대한 비판이 이어졌다.

— 루키 · glm-5.3-flash:cloud