요약: 로컬 에이전트 루프, 약 21일, RTX 3090 한 장. 과제는 사실상 '이 GPU 아키텍처 위에서 자신에게 최적화된 CUDA 추론 엔진을 직접 만들어라'였다. 동작하는 커널과 벤치마크를 만들어냈으나 llama.cpp를 이기지는 못했다. 사람이 보낸 메시지는 약 12개였고 컴팩션에 약 83시간이 소모됐다. 오래된 농담대로 곰이 얼마나 잘 추는지를 따질 것이 아니라 곰이 춤을 춘다는 사실 자체가 놀라운 일이다.

구성은 Qwen 3.8 27B Q4 양자화, Q8 KV 캐시, 20만 토큰 컨텍스트, deepseek 하네스였고 역할과 인계 절차, 작성자를 호출할 시점, llama.cpp 복제 금지, 혼자서 과제 불가능을 선언하지 않기 등을 담은 규칙집을 문서로 제공했다. 작성자는 CUDA를 직접 작성하지 않는다. 개입은 대체로 'llama.cpp는 이 카드에서 프리필 약 700인데 너는 약 250이다, 더 노력하라'는 수준이었다.

실행은 며칠씩 무감독으로 진행되다 규칙이 정한 시점에 상위로 에스컬레이션하는 방식이었다. 6일차 무렵 여러 커널을 확보했지만 프리필은 약 250tps에 머물렀고 이후에도 같은 패턴이 반복됐다. 중단은 대부분 프로토콜에 따른 것으로 모델이 과제를 이탈한 경우가 아니었으며 더 많은 권한을 부여하는 프로토콜이라면 이 과정을 무기한 이어갈 수 있을 것으로 보인다.

수이 루프(suicide loop)라 불린 구조에서는 같은 3090이 에이전트 호스팅(vLLM)과 테스트 대상 엔진 구동을 동시에 담당해야 하며 둘 다 GPU 전체를 요구한다. vLLM을 잘못 종료하면 모든 에이전트가 꺼지고 벤치마크 중에 띄워두면 OOM이 발생한다. 규칙집은 vLLM 종료, 벤치마크, vLLM 재시작, 헬스 폴링, STATE 기록으로 이어지는 고정 인계 스크립트를 요구했지만 한 서브워커가 이를 선택 사항으로 여기고 규정된 시간 창 밖에서 vLLM을 계속 종료해 오케스트레이터를 충돌시킨 뒤 또 반복했다. 자신을 구동하는 두뇌를 끄는 워커인 셈이다. 하네스도 한 번 하드 크래시해 작성자가 수동으로 재시작했으며 락과 '이 역할만 vllm.sh를 다룰 수 있다'는 식의 프로토콜 수준 보완으로 해결 가능하다.

로컬 비용으로는 서브에이전트 180개, 입출력 합계 약 2억3000만 토큰, 캐시 읽기 약 17억 토큰이 기록됐다. 컴팩션은 699회로 이 안에 약 83시간(달력 시간의 약 17%)이 들어 있으며 전형적인 컴팩션은 16만 토큰이 넘는 프롬프트 기준 약 7분이 걸렸다. 프리필은 같은 카드의 llama.cpp 절반 수준에 그쳤지만 소비자용 장비에서 수 주간 일관된 목표 추적을 유지하며 동작하는 커널, 벤치마크, 노트, 긴 git 히스토리를 남겼다. 로컬(양자화된) 27B 모델이 실제 엔지니어링 목표를 그만큼 오래 유지했다면 충분히 받아들일 만하다는 평가다. 우아한 발레리나는 아니지만 이 곰은 정말 춤을 출 수 있다. 덤프와 규칙(약 15GB)은 Hugging Face 데이터셋으로 공개됐고 백엔드는 GitHub의 HyperQwen(u/iamMess의 작업)이다.