Jev가 어떤 새로운 클래스의 의사결정 모델로 소개되는 것을 계속 봐 왔지만, 광고되는 대부분은 현대적인 제로샷 기능을 갖춘 평범한 분류기 동작에 불과하다. 이 모델은 제한된 선택지에 대한 확률을 출력하고, 자기회귀적으로 생성하지 않으며, 유효하지 않은 클래스를 출력할 수 없고, 추론 시점에 정의된 레이블을 사용할 수 있다. 이 중 새로운 것은 하나도 없다. 제로샷/NLI 분류기, 임베딩 모델, 크로스 인코더, 리랭커는 수년간 이런 변형들을 해왔다.

이상한 점은 Jev의 인상적인 비교 대부분이 LLM과의 비교라는 것이다. 전문 분류기가 자기회귀 LLM으로 답을 생성하게 하는 것보다 빠르고 저렴한 것은 당연하며, 이것이 새로운 패러다임을 입증하지는 못한다. 의미 있는 비교는 기존의 강력한 분류기와의 비교다. NLI 모델, 임베딩 모델, 리랭커를 포함해 22개 데이터셋에서 수십 개의 제로샷 분류기를 평가하는 BTZSC 같은 벤치마크가 이미 존재하지만, 아직 Jev가 그 생태계 전반에서 제대로 벤치마크된 것을 보지 못했다.

Jev와 기존 분류기를 비교한 경우 이야기는 훨씬 덜 마법적이다. 한 Banking77 실험에서는 BGE-small에 로지스틱 회귀를 결합한 조합이 로컬에서 약 9ms 만에 93.3%를 기록한 반면 Jev는 83.2%에 그쳤다. 마케팅 중 일부도 오도적인 영역으로 넘어간다. 예컨대 '환각할 수 없다'는 프레임은 매우 수상쩍다. 그들 자신의 설명도 0% 환각 수치가 경험적이지 않음을 인정하며, 실제로 보장하는 것은 Jev가 허용된 스키마에 맞는 답을 반환한다는 것뿐이다. 이는 유효하지 않은 출력을 막을 뿐, 유효한 답 중 틀린 것을 확신에 차서 고르는 것을 막지는 못한다.

그러니 회의적으로 보겠다. Jev는 좋은 제품일 수도 있고, 공개되지 않은 아키텍처나 RLCD 학습 방법이 진짜로 참신할 수도 있다. 하지만 지금까지 공개된 것 중 'System One Models'가 AI의 새로운 클래스라는 점을 입증하는 증거는 없다. 공개된 증거가 대체로 보여주는 것은 분류 작업에 전문 분류기를 쓰면 자기회귀 LLM보다 훨씬 저렴하고 빠를 수 있다는, 이미 알려진 사실이다. AI에 대한 인식이 LLM에서 시작해 LLM으로 끝난다면에만 참신하게 들리는 것이다.