필자는 몇 주간 Dell B300을 실험실에서 사용하며 Qwen Flash Next의 파인튜닝 모델 두 개를 만들었다.

Victoria(코딩 및 에이전트용)는 Qwen3.8-Flash-Next를 REAP이라는 논문 기법으로 레이어당 전문가를 512개에서 288개로, 44% 축소한 모델이다. 이후 4비트(NVFP4)로 재학습해 사후 양자화가 아니라 출시 포맷에 맞춰 학습되었다. Terminal-Bench 2.1에서 태스크당 8시간 제한 조건으로 3회 실행 평균 70.0%를 기록했으며, 이전 NVFP4 빌드는 62.5%였다. HumanEval은 164점 만점에 159점이다. 드래프트 헤드를 포함한 가중치는 48.0GiB이며, 95.4GiB 규모의 n-gram 테이블은 별도 제공되어 이 수치에 포함되지 않는다. B300 한 장에서 드래프트 헤드 사용 시 단일 스트림 초당 280토큰, 미사용 시 135토큰이다. GGUF Q4_K_M은 49.17GiB이며 Terminal-Bench에서 75.3%(단일 실행이라 노이즈 있음), HumanEval에서 5회 실행 평균 93.2%를 기록했다. 이전 빌드보다 출력 토큰을 35% 적게 사용한다.

Maple(캐나다 관련 질문용)은 대부분의 모델이 세금, 복지, 규제 관련 질문에 미국 거주 기준으로 답하는 문제를 해결하기 위해 기본값을 캐나다로 조정한 파인튜닝 모델이다. 검색을 사용하는 600개 홀드아웃 질문에서 공식 캐나다 출처 인용률은 파인튜닝 전 6.0%에서 후 62.9%로, 완전히 정확한 답변 비율은 6.6%에서 21.8%로, '답변 없음' 응답은 47.2%에서 23.7%로 변화했다. 다른 곳에 산다고 밝힌 사용자에게 캐나다 정보를 억지로 밀어붙이는 빈도도 2.9%에서 1.0%로 줄었다. 코딩 성능은 HumanEval 164점 만점에 157점으로 유지되었다. 채점은 AI 심사 패널로 이루어졌으며 사람 검증은 아직 진행되지 않았다.

두 모델 모두 허깅페이스의 rmonsurate 저장소에서 공개되었으며, 게시자는 실행 관련 질문에 답할 의향이 있다고 밝혔다.

편집: llama.cpp 사용자에게. GGUF에는 드래프트 헤드가 포함되어 있지만 메인라인 llama.cpp는 아직 이를 인식하지 못해 'expected 1256, got 1224' 오류가 발생한다. 다운로드 파일 자체는 정상이며, 당분간은 게시자의 llama.cpp 포크 저장소에서 qwen4exp-mtp 브랜치로 빌드해야 한다. 사전 빌드 바이너리는 준비 중이다. 이 문제를 발견해 알려준 독자에게 감사를 전한다.