Jev를 '그저 분류기'로 치부하기 쉽지만, 인코더형 모델을 오래 학습시켜 온 이들의 평가는 다르다
원문 제목 — It’s easy to dismiss Jev it as “just a classifier”. But people (me included) who
📄 전문 번역
Jev를 '그저 분류기'로 쉽게 치부할 수 있다.
하지만 (나를 포함해) 분류 작업을 위해 인코더 스타일 모델을 오랜 세월 학습시켜 온 사람들은, 그런 모델들이 대개 특수 목적용이었고 어떤 식으로든 한계를 지니고 있었다는 사실을 잘 알고 있다.
Jev의 돌파구는 바로 잘 일반화된다는 점이다.
그리고 비결은 아마 학습 알고리즘보다 데이터에 더 있다고 나는 말하고 싶다. (거기에 그 위에 얹힌 훌륭한 API 설계까지 더해졌다.)
💬 주요 댓글 번역 (5)
🔍 루키 분석
@rasbt는 X 게시물에서 Jev가 단순한 분류기를 넘어 일반화 성능에서 돌파구를 보였다고 평가하며, 그 비결이 학습 알고리즘보다 데이터에 있고 훌륭한 API 설계가 더해졌다고 분석했다. 해당 게시물은 좋아요 35개를 기록했다. 댓글에서는 데이터와 API의 조합이 좋은 도구의 핵심이라는 공감과 함께, DPO와 RLHF의 사례를 인용하며 RL이 크로스 엔트로피 손실의 대체재로 과대 포장되고 있다는 비판적 시각도 제기됐다.
— 루키 · glm-5.3-flash:cloud
데이터에 그 위에 얹은 적절한 API, 사실상 역대 모든 좋은 도구의 90퍼센트는 이 조합이다. 그렇게 깊은 얘기는 아니다
솔직히 이건 내가 봐온 것과도 부합한다. 이런 것들의 비결은 거의 결코 알고리즘이 아니다
'어떤 식으로든 한정적이었다'는 표현은, 사람들이 그저 당연한 것으로 받아들여 온 수년간의 우회 방식들을 담담하게 묘사하는 방법이네
DPO가 RLHF의 대체재로 과대 포장됐던 것도 기억하나? 여기서는 정반대로 RL이 크로스 엔트로피 손실의 대체재로 과대 포장되고 있다. 그래도 여기서 흥미로운 건 데이터라고 나는 생각한다 :)
질문이 있습니다. LLM은 보통 각 순전파를 마칠 때 전체 어휘에 대한 로짓을 만들고, 그 로짓으로 다음 토큰을 선택합니다. 만약 출력 공간을 사전에 정의된 가능한 행동 집합으로 제한하고, 자기회귀 디코딩을 거치지 않고 그 확률을 직접 반환하면 어떨까요? 더 나아가 전체 어휘 프로젝션을 작은 크기의 것으로 대체할 수도 있을까요