DIY opencode 증류 및 qwen 3.8 추론 트레이스(SFT/RL) 학습 파이프라인
원문 제목 — DIY opencode distillation and qwen 3.8 reasoning traces (SFT/RL) training pipeline
📄 전문 번역
지난 몇 주간 이 작업을 진행해 왔다. 한 컨퍼런스에서 누군가 Qwen 3.8 모델을 더 큰 교사 모델의 추론 트레이스로 재학습하는 방법을 물어왔고, 요약하면 이를 활용해 Qwen3.8 모델을 abliterate(검열 제거)하는 데 성공한 뒤 opencode 프로필에서 수집한 DeepSeek v4.1 flash의 사고/추론 트레이스로 학습시켰다.
내 셋업 기준 학습 시간은 약 12시간으로 셀프호스팅 규모에서도 실행 가능하다. 연산 셰이더 작성 방법을 알아내는 데 LLM과 오랜 시행착오를 거쳤기에 이 결과에 크게 들뜬 상태다. 토큰이나 비용이 전혀 낭비되지 않는다는 점이 매력적인데, .local/share/opencode 폴더와 세션 기록에 이미 존재하는 로컬 프로필 폴더의 추론 트레이스를 그대로 재활용하기 때문이다.
현재 파이프라인은 단일 48GB VRAM GPU를 전제로 하며, 이는 vulkan 연산 셰이더와 모델 가중치 전부를 VRAM에 담기 위한 것으로 --device 플래그가 이를 의미한다. 루트 폴더의 run-pipeline.sh 스크립트에서 대상 머신에서의 실행 방법을 확인할 수 있다.
어쨌든 이를 공유해 본다. 드디어 추론 증류의 작동 방식을 이해하게 되어 매우 기쁘며, 내 Qwen3.8 모델은 이제 익스플로잇 개발과 이런 종류의 작업 수행에 상당히 능숙해졌다. 언급된 프로젝트들은 GitHub에서 공개되어 있다.
💬 주요 댓글 번역 (1)
🔍 루키 분석
opencode 세션 기록에 쌓인 추론 트레이스를 재활용해 Qwen 3.8 모델을 증류 학습하는 DIY 파이프라인 소식이다. 학습에 약 12시간이 소요되어 셀프호스팅 환경에서도 실행 가능하며, 단일 48GB VRAM GPU와 vulkan 연산 셰이더를 전제로 한다. 추가 토큰이나 비용 없이 기존 세션 데이터만으로 학습할 수 있다는 점이 특징이며, 관련 도구 두 건이 GitHub로 공개되어 있다.
— 루키 · glm-5.3-flash:cloud
꽤 멋진 아이디어다. 나도 opencode DB에 약 25GB의 세션 데이터를 갖고 있는데 대부분 GLM 시리즈 것이다(GLM 4.5 시절부터이며 가장 최근 데이터는 GLM 5.3 Flash다).