Ollama로 전송되는 모든 요청을 기록하고 다른 모델로 재실행까지 가능한 관측 프록시를 만들었다
원문 제목 — I made an observability proxy that records everything sent to ollama, and can replay requests against other models.
📄 전문 번역
공개한 프로젝트는 무료·MIT 라이선스이며 계정 가입이나 텔레메트리가 전혀 없다고 밝혔다. 여러 에이전트를 Ollama에 돌리던 프로젝트에서 코드를 고칠 필요 없이 전체 프롬프트, 토큰 수, tok/s, 첫 토큰 도달 시간 같은 실제 전송 내용을 확인하고 싶었다는 것이 개발 동기다.
아이디어는 Ollama 앞에 두는 프록시로, 모든 요청을 로컬 SQLite 파일에 기록하고 그 위에 웹 UI를 얹는 방식이다. 검색, 필터, 에이전트별 태그를 지원하며, 캡처한 요청 하나를 골라 다른 모델로 재실행해 두 응답과 지표를 나란히 비교하는 기능을 특별히 원했었다. 영상에서 qwen3.5 요청을 hermes3로 재실행하는 모습을 보여줬다.
Ollama의 네이티브 /api/chat과 /api/generate 통계를 그대로 읽기 때문에 tok/s와 로드 시간이 정확하고, 콜드 로드도 표시된다고 설명했다. 실제로 '왜 이렇게 느리지' 문제의 절반은 콜드 로드가 원인이었다고 한다. OpenAI·Anthropic 호환 엔드포인트에서도 동작하며 LM Studio, llama.cpp, vLLM 등 API만 갖춘 환경이면 모두 지원한다.
코딩 에이전트가 실시간으로 데이터를 조회할 수 있는 MCP 서버도 함께 호스팅하며, 의존성 없는 단일 바이너리로 배포된다. 개발자는 무엇이 빠졌는지 솔직한 피드백을 요청했다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
Ollama 앞단에 두는 관측 프록시 Vessel을 공개한 글이다. 요청 전체를 로컬 SQLite에 기록해 웹 UI에서 프롬프트·tok/s·첫 토큰 시간을 확인할 수 있고, 캡처한 요청을 다른 모델로 재실행해 응답을 나란히 비교하는 것이 핵심 차별점이다. 댓글에서는 Langfuse와의 차이를 물었고 개발자는 SDK 없이 쓰는 디버깅 프록시라는 점을 구별점으로 꼽았으며, 응답 채점 기능 제안도 나왔다.
— 루키 · glm-5.3-flash:cloud
이게 langfuse랑 어떻게 다른 건가요?
사실 다른 종류의 도구다. Langfuse는 코드에 SDK를 심는 관측 플랫폼으로 트레이스·평가·프롬프트 관리, 팀 기능, 프로덕션 앱까지 갖춘 풀 패키지다. Vessel은 LLM 트래픽을 상대하는 Fiddler·Proxyman·개발자 도구 네트워크 탭 계열의 디버깅 프록시에 가깝다. SDK도 없고 코드 변경도 없이 쓴다.
재실행 기능에 확실히 힘을 실어줬으면 한다. 같은 요청을 모델마다 돌려볼 수 있는 건 유용하지만, 지연 시간과 토큰 수 외에 교체가 실제로 나아졌는지 판단하려면 응답을 채점하는 방법도 있어야 한다. 그런 모델+평가 루프는 Braintrust가 유용했던 부분이다.