밤새 소형 오픈 모델을 훈련해 '확실하지 않으면 의사에게 물어보세요'라고 답하게 만들었다 🔥
원문 제목 — I trained a small open model overnight to say "not sure, ask a doctor" 🔥 it answ
📄 전문 번역
밤새 소형 오픈 모델을 훈련해 '확실하지 않으면 의사에게 물어보세요'라고 답하게 만들었다 🔥
90% 이상 확신할 때만 스스로 답변하고, 나머지는 모두 인간에게 넘긴다
혼자 답변했을 때 실수가 46건에서 13건으로 줄었다
어떤 결정을 AI에게 혼자 맡기겠는가?
💬 주요 댓글 번역 (4)
🔍 루키 분석
작성자는 Qwen3.5-4B 모델에 UnslothAI의 decision fine-tune을 적용해 A100 GPU 한 장에서 27분, 약 1.15달러의 비용으로 훈련을 완료했다고 밝혔다. 모델은 90% 이상 확신할 때만 스스로 답변하고 나머지는 인간에게 넘기는 방식으로, 혼자 답변 시 실수가 46건에서 13건으로 감소했다. 학습에 사용하지 않은 시험 문제 1,273개 기준 정확도는 66.7%에서 74.5%로 향상되었으며, 환자 데이터는 사용하지 않았다고 강조했다. 불확실한 판단을 인간에게 위임하는 구조로 오류를 줄인 저비용 파인튜닝 사례로 주목된다.
— 루키 · glm-5.3-flash:cloud
시험 문제(MedQA, CC BY 4.0)는 @huggingface에 공개되어 있다 🤗
@MaziyarPanahi 정말 멋지다… 잘했다
방법은 이렇다: @Alibaba_Qwen Qwen3.5-4B에 @UnslothAI의 decision fine-tune을 적용해 A100 한 장으로 27분, 약 1.15달러가 들었다. 본 적 없는 시험 문제 1,273개로 테스트한 결과 정확도가 이전 66.7%에서 이후 74.5%로 올랐다. 시험 문제만 사용했으며 환자 데이터는 없고, 의학적 조언이 아니다
@The_Daveads 감사합니다! 🫡 정말 저렴하게 할 수 있었다 :D