Gemma-4-31B-Humanlike-Chat: 공식 Gemma 4 31B에 담긴 2.0의 향상된 인간적 목소리
원문 제목 — Gemma-4-31B-Humanlike-Chat: 2.0's improved human voice on official Gemma 4 31B
📄 전문 번역
앞서 공개된 Qwen3.8-27B-Humanlike-Chat 2.0, 즉 사람처럼 대화하고 실제 작업도 수행하는 파인튜닝 모델의 GGUF 저장소 다운로드가 v1과 2.0을 합쳐 13만6천 회를 넘어섰다. 개발자는 2.0 게시물의 인기 댓글 가운데 '너의 방법으로 학습하면 Gemma 4 31B는 어떻게 될까'라는 질문에 답해 이번 모델을 내놓았다. Gemma-4-31B-Humanlike-Chat은 구글 공식 Gemma 4 31B에 2.0의 목소리를 얹은 모델이다.
이 모델은 별도 프롬프트 없이도 사람처럼 대화한다. 소문자로 된 짧은 문장을 쓰고 말한 내용에 응답한다. 실제 대화와 두 개의 다음 메시지를 블라인드 판정자에게 보여 어느 쪽이 실제 사람 것인지 고르게 하면, 판정자가 이 모델의 답변을 실제 사람 것으로 판단한 비율은 26%였다. 구글 Gemma 4 31B는 동일 테스트에서 0%에 그쳤다. 추측하지 않고 묻는다. 세부 정보 없이 예약을 요청하면 정보를 지어내지 않고 필요한 세부를 되묻는다. When2Call(호출, 질문 또는 거절을 올바르게 수행)은 66점으로 구글 기본 46점을 넘었고, 적합한 도구가 없을 때 호출하지 않는 BFCL irrelevance는 90점으로 구글 81점보다 높다. 적절한 도구와 인자를 고르는 BFCL simple은 96점이다. 지식은 구글과 동일해 MMLU-Pro 82.5점으로 기본 모델과 같다. google/gemma-4-31B-it에서 학습했으며 Apache-2.0 라이선스다. abliterated 버전은 아니며 Gemma 4 31B에는 필요 없다고 판단했다. 추론도 동작하는데 짧게 생각한 뒤 같은 말투로 답장한다.
캐릭터와 실제 작업도 가능하다. 캐릭터 카드를 주면 그 캐릭터가 되고, 정식 이메일이나 번호 매긴 단계, 코드를 요청하면 그에 맞는 형식으로 답한 뒤 다시 원래 말투로 돌아온다. 학습은 2.0과 같은 레시피로 두 단계를 거쳤으며 H200 1장에서 진행됐다. 첫 단계 SFT는 13,740행으로, 학습 대화에 대한 2.0의 답변, 지시와 코드에 대한 구글 원본 답변, 블라인드 사이드바이사이드에서 나온 인간 선호 선택, 개발자의 수정본으로 구성된다. 두 번째 온폴리시 증류는 12단계로, 모델이 스스로 응답을 쓰면 교사가 각 토큰을 평가한다. 교사는 두 개로, SFT 모델에 사람처럼 대화하라는 숨은 지시를 더한 것(대화·캐릭터 담당)과 구글 원본(지시·도구·코드 담당)이며, 학생은 숨은 지시를 보지 못해 프롬프트 없이도 그런 말투로 대화하게 된다. 각 단계마다 시뮬레이션된 친구와의 긴 대화 같은 셀프플레이를 섞어, 긴 대화 후반부에 한두 단어 답변으로 퇴화하던 습관(SFT 후 후반 답변의 28%)을 증류 후 12%로 낮췄다.
수치 비교에서 구글 기본 모델(gemma-4-31B-it)과 동일 프롬프트, 동일 실행, 그리디 디코딩, 추론 끄기 조건으로 When2Call 46 대 66, BFCL irrelevance 81 대 90, BFCL simple 95 대 96, MMLU-Pro 82.5 대 82.5(동일)를 기록했으며, 열 개 벤치마크 전체 차트는 이미지로 공개됐다. 2.0과의 비교에서도 동일 평가 입력, 추론 끄기 조건으로 LiveCodeBench(코드) 51 대 66, IFEval(지시 이행) 83.4 대 90.0, When2Call 58 대 66, BFCL irrelevance 78 대 90, IFBench(더 어려운 지시 이행) 43.7 대 45.7을 기록했다.
사람처럼 대화하는지 확인한 벤치마크는 지난번과 같은 방식으로, 학습에 쓰이지 않은 자신의 대화에서 뽑은 150개 순간마다 각 모델이 다음 메시지를 쓰고 판정자가 라벨 없이 실제 메시지와 모델 메시지 중 어느 쪽이 사람인지 고르는 것이다. 학습 원본인 구글 Gemma 4 31B는 단 한 번도 판정자를 속이지 못했고 Gemma-4-31B-Humanlike-Chat은 26%를 기록했다. 모델은 Hugging Face에서 GGUF(IQ4_XS, Q4_K_M, Q5_K_M, Q6_K, Q8_0, BF16)와 vLLM·SGLang용 safetensors(BF16, FP8, GPTQ-Int4)로 공개됐으며 도구 호출이 포함된 vLLM 명령은 모델 카드에 있다. 브라우저에서 시험해 볼 수 있는 데모(IQ4_XS)도 제공된다. 개발자는 Gemma 버전을 요청해 준 것과 2.0에 대한 피드백에 감사를 전하며 직접 써 보기를 권했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
레딧 사용자 kvyb가 Qwen3.8-27B-Humanlike-Chat 2.0의 학습 레시피를 구글 공식 gemma-4-31B-it에 적용한 Gemma-4-31B-Humanlike-Chat을 공개했다. 블라인드 판정에서 원본은 단 한 번도 사람으로 오인되지 못한 반면 이 모델은 26%를 기록했고, When2Call 66점과 BFCL irrelevance 90점 등 도구 사용 지표에서도 기본 모델을 앞선다. H200 1장으로 SFT 13,740행과 온폴리시 증류 12단계의 두 단계로 학습했으며, Apache-2.0 라이선스로 GGUF, FP8, GPTQ-Int4 등 다양한 포맷으로 배포된다.
— 루키 · glm-5.3-flash:cloud
이건 분명 잘 만든 작품이다. 수고했다. 다만 한 가지 묻고 싶다. 이런 식으로 대화하는 모델을 왜 원하는 걸까? 비판하려는 게 아니라 의도된 사용 사례가 궁금할 뿐이다.
감사하다! 주로 모델이 사람과 이야기하면서 어시스턴트처럼 들리면 안 되는 모든 곳에 쓸 수 있다. 컴패니언과 롤플레이, 게임 NPC, 앱 속 캐릭터, 소셜 봇 등이다. 나는 그냥 일반 작업 능력은 유지하면서 더 이해하기 쉽고 소통하기 편한 모델이 필요했을 뿐이다.
아 그렇군. 청소년 대상 정신건강 지향 AI를 연구하는 곳이 많다. 이 기법을 그런 곳에 접목해 볼 수도 있겠다. 특히 청소년은 이 스타일과 정신건강 지원의 결합에서 혜택을 볼 수 있을 것이다. 생각해 볼 만한 일이다.
사람들이 싫어하는 데이팅 앱 봇이 가장 뻔한 사용 사례 아닐까? 사실 각종 사기도 마찬가지고.
데이팅 씬에서 너무 오래 떠나 있었는지 그 생각을 못 했다. 팁 하나 주자. 우리가 예전에 그랬듯 직장, 학교, 여가 활동이나 다이브 바에서 여자를 만나라.