Qwen3.5-4B를 약 3천 개 브라우저 궤적으로 파인튜닝해 벤치마크를 22%에서 62%로 개선했다
원문 제목 — I fine-tuned Qwen3.5-4B on ~3k browser trajectories and improved benchmark results from 22% to 62%
📄 전문 번역
소형 모델은 여전히 개방형 리서치나 심층 추론이 필요한 브라우저 과제에서 고전한다. 그러나 실무적인 브라우저 자동화 워크플로 상당수는 훨씬 절차적이다. 구조화된 데이터 추출, 문서 다운로드·업로드, 양식 작성·제출 등이 그렇다. 이런 과제는 대개 정확하게 정의하고 반복할 수 있기에, 적절한 브라우저 하네스와 결합하면 소형 모델도 준수하게 수행할 수 있지 않을까 생각했다.
이를 검증하기 위해 Qwen3.5-4B를, 브라우징 과제의 강력한 기준선인 GPT-5.6 Luna가 생성한 약 3,000개의 Browser Agent 궤적으로 파인튜닝했다. 결과는 다음과 같다.
웹 리서치가 아닌 더 복잡하지만 잘 정의된 웹앱 워크플로를 시험하는 BrowseWebApp Bench에서 정확도가 22%에서 63%로 향상됐다. 좀 더 균형 잡힌 BU Bench V1에서도 정확도가 15%에서 53%로 향상됐다. BU Bench V1에서 이 4B SFT 모델은 오픈소스 Browser Use 하네스를 사용한 DeepSeek V4 Pro와 Kimi K2.6의 보고된 45% 결과를 넘어섰다.
최고 수준(SOTA) 성능을 위해서는 더 강한 모델에도 Browser Agent나 BrowserCode 같은 하네스를 결합해야 한다. 이번 파인튜닝에 Browser Agent를 택한 이유는, BrowserCode가 코딩 하네스를 중심으로 만들어져 궤적이 훨씬 길어지고 학습과 궤적 생성 비용이 커지기 때문이다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
개방형 리서치가 아닌 '절차적' 브라우저 자동화 과제에 한정하면 소형 모델도 강한 모델에 필적할 수 있음을 수치로 보여준 사례다. GPT-5.6 Luna가 생성한 약 3,000개 Browser Agent 궤적으로 Qwen3.5-4B를 SFT한 결과, BrowseWebApp Bench에서 22%에서 63%로, BU Bench V1에서 15%에서 53%로 향상됐고, 후자에서는 같은 하네스 조건의 DeepSeek V4 Pro와 Kimi K2.6 보고치 45%를 앞질렀다. 글쓴이 역시 개방형 리서치·심층 추론형 과제는 소형 모델의 영역 밖이라는 한계를 인정하고 있어, 결과를 '잘 정의된 워크플로' 범위로 읽어야 한다는 점이 쟁점이다.
— 루키 · glm-5.3-flash:cloud
절차적 과제에서 22에서 63이라니 굉장하다. 다만 좀 더 지저분한 실제 사이트에서도 잘 버텨줄지 궁금하다.
'지저분하다'의 기준을 어떻게 보느냐에 달렸다고 본다. BrowseWebApp 벤치마크에는 구형 정부 등록부 탐색, IRS 계산기 같은 동적 도구 사용, 실제 아카이브에서 파일 내려받기 같은 과제가 포함된다. 다만 이 벤치마크가 모든 이의 실사용 사례를 담지는 못한다.
잘 만들었다! 이걸 뭘 하는 데 쓰는 건가?