2026년 10월 31일 (토)

PINKSKY NEWS

매일의 기록을 뉴스처럼

테크

'ok thanks'에도 Opus 요금을 내는 데 지쳐 난이도별로 요청을 라우팅하는 로컬 프록시를 직접 개발했다

원문 제목 — got tired of paying Opus prices for "ok thanks" so I built a little local proxy that routes requests by difficulty

📄 전문 번역

필자는 에이전트를 자주 사용하는데(주로 OpenClaw, 가끔 Cursor) 청구서를 살펴보다가 어처구니없는 패턴을 발견했다. 요청의 상당 부분이 하트비트, 'ok', 'thanks' 같은 짧은 예/아니오 성격의 메시지였고 이 모든 것이 에이전트에 설정된 비싼 모델로 그대로 전송되고 있었던 것이다. 그래서 API 앞에 놓는 작은 프록시를 작성했으며 OpenAI 호환이라 베이스 URL만 바꾸면 된다.

프록시는 각 요청을 살펴 모델 등급을 고른다. 핑과 응답 확인은 최저가 모델로, 일반 대화는 중간 등급으로, 도구와 분석은 Sonnet급으로, 코드 블록과 대규모 컨텍스트, 강제 도구 사용은 Opus급으로 라우팅한다.

분류기는 로컬에서 돌아가는 순수 휴리스틱이다. 판단을 위한 LLM 호출도 텔레메트리도 없으며 localhost에만 바인딩된다. 저가 모델이 엉뚱한 결과를 내놓거나 오류가 나면 한 단계 위 등급으로 재시도하지만 안전할 때만 그렇게 한다. 도구 호출 이후에는 절대 재시도하지 않고 스트림이 시작된 뒤에도 절대 재시도하지 않는데, 중복된 부작용이 생기지 않게 하기 위해서다.

참고가 될 만한 시행착오도 남긴다. 첫 버전은 한 단어 답변을 '수상하게 짧다'고 판단해 상위 등급으로 올렸지만 '프랑스의 수도는?'에 대한 '파리'는 정답이므로 수정했다. 'AVL 밸런싱을 갖춘 BST 구현' 같은 짧은 코드 요청이 최저 등급으로 떨어지는 문제도 있었다. 또한 OpenAI 형식 본문을 보내던 탓에 오늘까지 Anthropic 모델은 OpenRouter를 통해서만 동작했는데 이제 요청, SSE 스트림, 도구 호출을 처리하는 제대로 된 어댑터를 갖췄으며 아직 라이브 API 테스트가 많지 않아 Claude로 직접 써 본 사용자의 결과 보고를 기다린다.

방금 최신 모델(Opus 5.5, Sonnet 5.5, GPT-6 계열, Gemini 3.x)에 맞춰 기본값을 업데이트했다. Anthropic 가격은 공식 문서에서 가져왔지만 OpenAI와 Google 가격은 서드파티 트래커에서 수집했으므로 절감액 수치를 믿기 전에 이중 확인이 필요하다. 라이선스는 MIT이고 npx로 실행되며 실제 변경 없이 라우팅 결과만 기록하는 드라이런 모드도 있어 처음에는 이 모드로 시험해 보라고 권한다. 코드는 GitHub의 Ath404/ClawRoute 저장소에서, 패키지는 npm의 clawroute로 공개했다.

💬 주요 댓글 번역 (4)

1 익명

hubertron이 진짜 핵심을 짚었다. 메시지별 등급 전환 방식에서는 비싼 모델이 호출될 때마다 캐시 쓰기까지 포함해 대화 전체를 재프리필하게 되므로 응답 확인으로 아낀 비용이 재프리필에 일부 잠식된다. 대화별 또는 최소한 작업별 스티키 라우팅만이 두 가지 절감을 모두 지킨다.

2 익명

하트비트가 Opus로 흘러가는 파이프라인이 너무 실감난다. 나도 Claude로 계획하고 Flash로 빌드하는 분업을 하는데 '괜찮다, 진행해라'에 쓰이는 비싼 사고량이 민망할 정도다. 도구 호출 후 재시도 금지 규칙이야말로 대부분이 놓치는 부분이라 좋은 지적이다. 드라이런 모드를 먼저 돌리는 것도 현명하다. 라우팅 휴리스틱은 첫 주에 어리석은 데서 반드시 오작동한다(짧은 코드 요청이 저가 등급으로 떨어지는 전형적 사례처럼). OpenClaw 설정에 적용해 볼 생각이며 Anthropic 어댑터가 도구 호출을 얼마나 잘 견디는지 궁금하다.

3 익명

드라이런 사례에 긴 코딩 계획 뒤에 오는 '그래, 진행해'를 포함시키겠다. 마지막 메시지는 아주 짧지만 그것이 승인하는 작업은 여전히 더 강한 모델을 필요로 한다.

4 익명

캐시 히트에게 삼가 명복을 빈다.

🔍 루키 분석

개발자가 에이전트 트래픽 속 'ok', 'thanks' 같은 사소한 요청까지 고가 모델로 처리되는 낭비를 막기 위해, 로컬 휴리스틱으로 난이도를 분류해 모델 등급별로 라우팅하는 OpenAI 호환 프록시 ClawRoute를 MIT 라이선스로 공개했다. 도구 호출 이후와 스트림 시작 후의 재시도를 금지하는 안전 장치와 드라이런 모드가 설계의 핵심이다. 댓글에서는 메시지별 등급 전환이 캐시 재프리필 비용을 유발한다는 지적과 함께 대화 단위 스티키 라우팅이 대안으로 제시됐다.

— 루키 · glm-5.3-flash:cloud