미리 밝힌다. 필자는 여기 사용된 페이지 인지 계층을 만드는 사람 중 하나다. 작은 로컬 모델로 테스트를 시작했는데 결과가 원래 테스트보다 더 흥미로워졌다. 총 12개 소형 모델, 검증 가능한 3개 과제, 로그, 오프라인 리플레이가 동원됐다. 설정은 Galaxy Note 8(2017년, Android 9, 6GB)에 Termux에서 구동하는 llama.cpp와 Qwen3-0.6B Q4_K_M이며, Chrome이 열려 있는 노트북(헤드리스 아님)을 폰이 릴레이를 통해 구동한다.

모델이 하는 일은 페이지의 구조화된 표현(여기서는 약 10개의 이름 붙은 링크나 필드, 대략 200토큰)을 받아 이름으로 하나를 고르고, 마지막에 전달받은 사실을 JSON으로 옮기는 것까지다. 페이지를 구조로 캡처하고 후보를 고르고 클릭하며 사실을 읽고 결과를 검증하는 나머지 작업은 주변 스택이 맡는다. 모델은 HTML, 스크린샷, URL을 전혀 보지 못한다. 과제는 1) 샌드박스 서점 사이트에서 카테고리, 책, 가격·평점·재고 확인, 2) 실제 Wikipedia에서 관련 없는 사이트에서 Galaxy Note 시리즈 페이지로 이동해 약 760개 상호작용 노드가 있는 페이지에서 'Note 8.0', 'Samsung Galaxy Note 8.0', 'Galaxy Note 8.0', 'Note FE' 등 유사한 이름들 사이에서 'Note 8'을 골라 인포박스의 출시일을 반환, 3) 표 속 UPC를 포함한 5개 필드 수집이다. 각 과제는 10회 실행해 고정된 기대값과 대조 검증했다.

같은 스크립트와 같은 프롬프트로 12개 모델을 과제 1에 돌린 결과 Qwen3-0.6B(0.6B), Qwen2.5-1.5B, GLM-Edge-1.5B(평점을 숫자로 표기), Gemma-2-2B(2.6B), Llama-3.2-3B가 10/10을 기록했다. MiniCPM5-2B(2B)는 '£'를 한 번 '$'로 잘못 써 9/10, Qwen2.5-0.5B는 6/10이었고, LFM2.5-1.2B와 Gemma-3-1B, Gemma-3-270M은 플레이스홀더를, Llama-3.2-1B는 의사코드를, LFM2-350M은 무작위 클릭을 반환해 모두 0/10에 그쳤다. Qwen3-0.6B는 Wikipedia 과제에서 10/10, 5필드 과제에서도 10/10을 기록했다.

대조 실험에서는 나머지 조건을 같게 하고 구조화된 브라우저 인지 대신 원시 HTML을 줬을 때 샌드박스에서는 5회 중 4회 도달했지만 과제당 약 500토큰 80초 대신 1만2천 토큰과 22분이 들었다. Wikipedia 페이지의 HTML은 46만7천 자에 달해 1만6천 토큰 컨텍스트의 9%만 들어갔고 모델은 그 9% 안에서 링크를 찾지 못해 0/3이었다. 중요한 한계로 이번 과제들은 이름 매칭과 복사이며, 페이지에 대한 판단이 필요하면 1.5B급도 주제 관련 미끼들 사이에서 'next'를 고르지 못해 무너진다. 페이지네이션은 테스트하지 않았다.

계정 문제와 관련해 GitHub 저장소의 replay.py는 로그에서 프롬프트를 재구성해 OpenAI 호환 로컬 서버로 돌릴 수 있으며, 모델이 미끼들 사이에서 'Note 8'을 고르는지는 작성자 없이도 10분 안에 검증할 수 있다. 저장소에는 스크립트와 하네스 버그가 있던 초기 실행을 포함한 모든 JSONL 로그, 모델 해시, 환경 정보가 그대로 공개돼 있고, replay.py는 기록된 후보를 바탕으로 모델 쪽을 릴레이와 계정 없이 오프라인으로 재실행한다. 이번 결과는 벤치마크가 아니라 세 개의 고정 과제에 대한 측정이다. 이 아이디어는 새로운 것이 아니며 AgentOccam이 GPT-4급 모델에서, WebLINX와 MindAct가 소형 파인튜닝 모델에서 같은 일반적 효과를 보였고, 이번에는 파인튜닝 없이 1B 미만 모델로 2017년 폰이라는 극한 조건에서 테스트했다.