Jeff-Qwen3.5-0.8B v1.2 + LoRA 어댑터 9종, Qwen3.8-27B 앞에 두면 38배 빠른 판단과 정확도 +8.7포인트, 추가 메모리는 2GB 미만
원문 제목 — Jeff-Qwen3.5-0.8B v1.2 + 9 LoRA adapters: put it in front of Qwen3.8-27B for 38× faster decisions and +8.7 points accuracy, for under 2 GB extra memory
📄 전문 번역
며칠 전 공개된 Jeff-Qwen3.5-0.8B는 사용자가 정의한 선택지 중 하나를 고르고 각 선택지에 보정된 확률을 한 번의 순전파로 반환하는 소형 '시스템 1(System 1)' 모델이다. M4 Max와 RTX PRO 6000에서 속도는 뛰어났지만 일반 제로샷 분류기로서는 대형 모델에 뒤졌다. 개발자는 로컬 모델 앞에서 에이전트가 내리는 대부분의 판단이 열린 형태가 아니라 프롬프트 인젝션 여부, 호출할 도구 선택, 티켓 긴급도, 답변이 근거에 기반하는지 같은 반복되는 유형에 속한다는 점에 주목해 작업별로 하나씩 LoRA 어댑터 9종을 학습시켰다.
서버는 베이스 모델을 한 번만 로드한 뒤 선택한 어댑터(각 약 40MB)를 더해 올리며, 모든 요청은 어댑터를 지정하거나 일반 Jeff로 향한다. 베이스 모델은 그대로 유지되므로 새로운 작업에는 Jeff의 일반 제로샷 능력이 살아 있고, 어댑터는 관심 도메인에서 거의 완벽한 정확도를 제공한다. 각 어댑터는 일반 능력 유지를 위해 베이스 모델 자체 학습 데이터의 10%를 섞어 학습됐다. 어댑터와 결과, 문서는 제프허브(jeffhub.ai)에서 제공되며 코드는 GitHub, 모델은 Hugging Face에 올라 있고 브라우저에서 아홉 어댑터를 모두 체험할 수 있다.
핵심 결과는 Jeff + 어댑터가 먼저 답하고 확신이 없는 쿼리만 Qwen3.8-27B로 전달하는 방식이다. M4 Max에서 동일한 테스트 행으로 비교한 결과, 어댑터 8종 평균 정확도는 27B 단독 86.6%에서 95.3%로 올랐고 판단당 시간은 8.1초에서 0.25초로 38배 빨라졌다. 오답률은 13.4%에서 4.7%로 낮아졌고, 메모리는 27B의 28.6GB와 달리 Jeff는 어댑터 9종을 모두 로드해도 2GB 미만(+6.9%)에 그쳤다. 수신함 에이전트가 메시지마다 내리는 다섯 판단(가드, 분류, 지원 의도, 도구 선택, 그라운딩)에서는 87.7%에서 95.7%로 오르며 39배 빨라졌다. Jeff는 아홉 어댑터 중 여덟에서 단독 승리했고 그라운딩에서는 96.3% 대 96.7%로 근소하게 뒤지만 20배 빠르다. 별도 보류 테스트 세트에서는 아홉 중 여섯 어댑터가 97~98%를 기록했으며, GPU에서는 어댑터를 하나만 올리든 아홉을 모두 올리든 판단 하나에 약 30ms가 걸린다.
감정(emotion) 작업은 평균에서 제외됐다. 짧은 Reddit 댓글에서 27개 감정 중 가장 강한 하나(또는 중립)를 고르는 일은 사람도 어렵고 사람 라벨끼리도 불일치가 잦아, Jeff + 어댑터는 27B의 35.6% 대비 60.6%를 기록하며 42배 빠르다. 이를 포함하면 아홉 어댑터 전체 평균은 Jeff + 어댑터 91.4% 대 27B 80.9%로, 제외한 표기가 오히려 이득 폭을 작게 보여준다. 유의점으로 27B는 8비트로 단계별 추론을 끈 상태에서 실행됐고(추론을 켜면 속도 차는 더 벌어진다), 각 작업은 보류 행 300개(감정과 법률 조항은 500개) 고정 샘플을 사용했으며 어댑터별 전달 임계값은 테스트 행 채점 전 별도 캘리브레이션 행에서 정해졌다. 데이터는 어댑터 4종이 공개 데이터셋, 5종이 대부분 합성이며 생성된 모든 행은 작성 모델을 기록하고 카드에 건수를 밝힌다. 모든 데이터셋은 학습 전에 숏컷 검사와 독립 검토를 거쳤고 길이로 정답이 노출되는 등 초안 상당수가 탈락했다. 가중치(Apache 2.0), 코드(MIT), 어댑터별 테스트·캘리브레이션 세트가 공개돼 모든 수치 검증이 가능하나 학습 데이터는 비공개다.
이번 릴리스는 커뮤니티 프리뷰 성격으로 피드백을 요청하고 있다. 다음 단계로 약 36시간 안에 장기 지원용 베이스인 v1.3을 학습한다. 프롬프트의 고정 부분을 앞에 배치해 서버가 한 번 준비해 재사용할 수 있게 하면 판단이 더 빨라지며, 아홉 어댑터를 모두 이 위에서 재학습하고 요청 형식을 고정해 다른 사용자도 자체 어댑터를 만들어 제출할 수 있게 한다. 데이터 검사를 포함한 어댑터 키트는 저장소에 있으며, 하드웨어 접근이 늘어난 만큼 원하는 작업을 알려주면 어댑터를 학습시켜 주겠다고 밝혔다. 목표는 Qwen 4 등 차세대 로컬 모델이 등장할 때 로컬에서 모델을 돌리는 누구나 앞에 소형·고속·잘 보정된 판단 레이어를 갖추는 것이다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
소형 판단 모델 Jeff-Qwen3.5-0.8B에 작업별 LoRA 어댑터 9종을 결합하고 불확실한 쿼리만 Qwen3.8-27B로 넘기는 구조로, M4 Max 테스트에서 판단 속도 38배 향상과 정확도 95.3%를 달성했다고 발표됐다. 가중치는 Apache 2.0, 코드는 MIT로 공개됐고 어댑터별 테스트·캘리브레이션 세트도 열려 있으나 학습 데이터는 비공개다. 댓글에서는 라우팅과 어댑터의 기여를 분리한 실험 결과 제시와 표준 벤치마크 공개 요구가 이어졌다.
— 루키 · glm-5.3-flash:cloud
흥미롭네요. 서로 의존하지 않는 두 가지 아이디어가 여기서 작동한다는 이해가 맞나요? (1) 핫스왑 LoRA, (2) 최고 확률 응답과 두 번째 응답의 격차가 충분하지 않을 때 크고 느린 LLM으로 전달하기. (1)만 있고 (2)가 없으면 점수는 어떻게 되나요? (2)만 있고 (1)이 없으면요? 그리고 일반적인 '정확도' 대신 경쟁 모델과 비교한 표준 벤치마크를 공개할 수 있나요?
동의합니다. 두 기여를 분리해서 보여주면 훨씬 설득력이 높아질 것 같습니다.
네, 두 가지는 별개이며 라우팅과 어댑터 전용을 구분하신 지적이 중요합니다. 9개 작업 중 8개에서 어댑터를 장착한 Jeff가 단독으로 기성품 27B를 이기므로 속도 향상은 전적으로 어댑터에서 나옵니다. 예외는 그라운딩(답변이 근거 자료에 뒷받침되는지)으로, 여기서는 27B가 강해 Jeff + 어댑터 단독의 95.7% 대비 96.7%를 기록합니다. 이 작업에서는 라우팅이 중요합니다. 캘리브레이션 행에서 고른 임계값에서는 쿼리의 2%가 27B로 전달되며(96.3%, 여전히 20배 빠름), 임계값을 올려 11%가 전달되면 조합은 98.7%에 도달해 두 모델 모두를 이깁니다.
사람들에게 보내기 전에 Claude에게 인간 가독성과 간결성에 맞춰 다듬으라고 하세요. 많이 도움이 됩니다.
요점은 제 테스트에서 어댑터가 종종 판단을 내리는 주체라는 것입니다. 실제로 아홉 어댑터 중 여덟에서는 유일한 판단자입니다. 그래서 속도 향상 수치가 왜곡되는 측면이 있는데, 큰 모델이 한 번도 호출되지 않으면 당연히 빠르겠죠. 하지만 그건 문제가 되지 않습니다. 어댑터가 매번 판단을 내릴 만큼 충분히 좋다면 그것도 유효한 속도 개선입니다. 이해되셨나요? :)