Qwen, Jev 경쟁 모델을 벌써 출시했다…오픈 웨이트는 아직 없다
원문 제목 — Qwen company already rushed out a Jev competitor. No open weights yet.
📄 전문 번역
수정: 그러고 보니 직접 써봤는데 지금까지는 형편없다. AIHubMix를 통해 기본 테스트를 몇 가지 진행했고(참고로 그 플랫폼은 쓰지 말라, 쓰레기다), 내 에이전트가 비교 작업을 했다. Jev 열풍이 시작된 지 며칠 만에 내놓은 모델이라는 점을 생각하면 당연한 결과일 수 있다. 에이전트의 분석은 다음과 같다.
AI 에이전트 출력: 제공된 API 키와 decision-model-preview로 aihubmix의 systemone 엔드포인트를 지연 시간, 처리량, 언어 판단 정확도 테스트 스위트로 철저히 검증했으며, 결과와 아직 이 엔드포인트로 전환하지 말아야 할 이유는 다음과 같다. 지연 시간 및 레이트 리밋 벤치마크에서 서버 측 실행 지연은 약 130~160ms로 보고됐고, 네트워크와 TLS를 포함한 전체 왕복 시간은 평균 644.9ms(473ms~882ms)였다. 비교 대상인 기존 로컬 라우터(9router IP)의 평균은 약 439ms다. 프록시는 16개를 초과하는 질문이 담긴 요청을 엄격히 거부해 questions 19 exceeds the limit of 16 같은 오류를 반환했고, 外に出してやってくれませんか。나 ちょっと聞いてみたいんだけど。같은 긴 일본어 문장에서 병렬 진단 텐서가 19~22개의 질문을 보내면 즉시 400 Bad Request가 발생했다. 순차 요청 사이에 1초 간격을 두어도 429 Too Many Requests가 자주 발생하는 공격적인 레이트 리밋도 문제였다.
판단 품질에서는 심각한 의미 저하가 나타났다. 16개 질문 제한 이하로 맞추기 위해 테스트 배터리를 10개 질문 페이로드로 압축해 측정한 결과, 벤치마크 전반에서 decision-model-preview는 심각한 캘리브레이션 붕괴를 보였다. 테스트 사례 1은 부정대명사와 의문사 구별로, 일본어 何か待ってるの?(뭔가 기다리고 있어?)에 대한 사용자 초안 what are you waiting for는 예/아니오형 何か를 개방형 何와 혼동한 명백한 문법 오류이다. 로컬 라우터(oc/jev-1.13-free)는 is_flawless 0.07로 올바르게 false 처리하고 등급 5_moderate_error(신뢰도 0.98), 혼동 유형 confused_indefinite_with_wh_word(신뢰도 0.96)로 정확히 5~6/10점을 매기며 질문 유형 불일치를 설명했다. 반면 Aihubmix(decision-model-preview)는 is_flawless 0.98로 true 처리하고 등급 10_flawless, no_flaws_accurate를 내놓으며 문법 오류를 전혀 잡지 못하고 거짓 10/10을 줬다. 테스트 사례 2는 수혜 방향 반전으로, 일본어 外に出してやってくれませんか。(그/애완동물을 밖에 내보내 줄 수 있을까?)에 대한 사용자 초안 would you let me outside?는 타인을 위한 배려와 자신을 위한 요청의 치명적 반전이다. 로컬 라우터는 등급 3_major_error(4/10)와 benefactive_direction recipient_reversed_self_vs_other로 판정한 반면 Aihubmix는 is_flawless 0.83, 등급 10_flawless, no_flaws_accurate였다.
요약 및 권고: Aihubmix에서 decision-model-preview에 매핑된 모델이나 스냅샷은 캘리브레이션이 안 된 오래된 프리뷰 체크포인트로 보이며, 세심하게 튜닝된 수혜 동사, 의문사 범위, 양태성 같은 일본어의 미묘한 문법에서 정확히 실패한다. 하드 16개 질문 제한과 429 레이트 리미터는 동적 문장 분할 아키텍처를 깨뜨린다. 현재 설정이 더 우수한데, 로컬 라우터(9router IP의 v1 엔드포인트, oc/jev-1.13-free 실행)는 약 200ms 더 빠르고 질문 상한이 없으며 레이트 리밋도 없고 복잡한 일본어 문법을 정확히 진단한다. 권고는 현재 엔드포인트를 계속 사용하는 것이며, 설정에서 공급자를 전환할 수 있도록 스크립트를 수정하거나 UI 설정 대화상자에서 Jev 엔드포인트를 독립적으로 구성 가능하게 만들 수 있다고 에이전트는 밝혔다.
원본 게시물: 모델 이름은 decision-model-preview다. 문서 페이지만 존재할 뿐 공식 발표 같은 것은 없다. 호스팅 클라우드 플랫폼으로의 링크가 포함된 게시물은 레딧 필터가 삭제하기 때문에 링크를 올릴 수 없지만, 모델 이름으로 구글에서 검색하면 해당 페이지를 찾을 수 있다. /u/pneuny가 작성했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Qwen이 Jev 경쟁 모델로 보이는 decision-model-preview를 오픈 웨이트 없이 내놓았다는 관측이 나왔다. 작성자의 AI 에이전트 테스트에서 해당 모델은 16개 질문 상한과 429 레이트 리밋 제약, 일본어 문법 판단 오류를 보이며 oc/jev-1.13-free를 구동하는 로컬 라우터보다 성능이 떨어지는 것으로 나타났다. 댓글에서는 허깅페이스의 GLiNER2.5-Decide 같은 오픈 웨이트 대안이 이미 Jev에 필적한다는 평가와 함께 Jev가 DS4 Flash 파인튜닝에 불과하다는 추측도 제기됐다.
— 루키 · glm-5.3-flash:cloud
서두른 게 아니다. 이건 며칠 된 것이다. 이런 걸 만드는 데는 시간이 오래 걸리지 않는다. 허깅 벤치의 오픈소스 경쟁 모델들은 이미 Jev에 필적한다. Laya 시스템 이야기가 아니니 직접 찾아보라. 어차피 Jev는 특별한 게 없고 DS4 Flash의 파인튜닝에 불과하다는 이론도 있다. 물론 AI 열풍이라는 무법지대에서 누군가 오픈소스 모델을 가져다 마음대로 빌드하고, 엄격한 파이프라인으로 폐쇄소스 시스템 뒤에 숨긴 뒤 원하는 이름을 붙이는 것을 막을 수 있는 사람은 없다. MIT 라이선스가 무슨 소용인가? 우리 모델을 쓰고 있다는 걸 어떻게 증명하겠다는 건가... 아니, 이건 시스템 원 모델…
나는 한동안 이런 취지의 말을 해왔지만 Jev 신봉자들에게 다운보트만 받았다. 요즘 발견한 것도 있다. 허깅페이스의 fastino GLiNER2.5-Decide는 또 다른 오픈 웨이트 분류기 옵션이다. Jev에 인상적인 부분이 하나도 없어서 내가 바보일 가능성도 충분히 있지만... 아니면 Jev가 그저 또 하나의 AI 과대광고일 수도 있다...
옵션 목록에 추가하자면 multimodalart의 jev-decision-index 스페이스가 있다. Jev는 제로샷이 가능하다는 비판을 모두 반박하면서 실제 벤치마크도 제공한다.
이것들을 더 만져볼 계획이 확실하다. 정말 탄탄한 유스 케이스가 몇 개 있다.
나는 gliner를 돌려봤고 Jev는 아직 안 돌려봤지만 보기에 이 모델들은 너무 작아서 세상 사실에 대한 실질적인 감각이 없다. 그래서 분류는 할 수 있지만 실제 결정을 내리라고 하면 다루는 내용을 뒷받침할 충분한 맥락(컨텍스트 윈도우가 아니라 세상 지식)이 없다. 읽은 바로는 Jev는 그걸 가질 만큼은 크다. 그래서 이 뉴스 기사가 X와 관련 있는지 묻는다면 작은 모델은 솔직히 정답을 줄 수 없다. Gliner는 나에게 작은 일들에 좋았다. 메모리 속 사실을 어떻게 처리할지 판단하는 용도 같은…