토큰 수준에서 LLM과 에이전트를 제어한다: 토큰 시각화·제어, 모델 검사, 데이터 주석을 위한 인터랙티브 도구
원문 제목 — Steer LLMs and Agents at the Token Level: An interactive tool for token visualization & control, model inspection and data annotation.
📄 전문 번역
onPanda는 geek, 파워 유저, 호기심 많은 이용자, 엔지니어를 위해 설계된 도구로, UI는 심층 탐색과 효율적인 데이터 주석 작업에 맞춰 만들어졌다. 핵심 작업 흐름은 간단하다. 토큰에 마우스를 올리고, 대안을 클릭하거나 자유롭게 편집한 뒤 생성을 이어가는 방식이다. onPanda가 노출하는 모델 출력의 모든 부분을 편집할 수 있으며, 여기에는 추론(reasoning)과 도구 호출도 포함된다.
프롬프트를 직접 편집하고, 도구 호출을 분기하며, 트리 구조로 분기 이력을 기록할 수 있다. 이 덕분에 onPanda는 모델 검사와 프롬프트 엔지니어링에 유용하다. 이미지, 비디오, 오디오를 포함한 여러 모달리티를 지원하며, 도구 호출과 MCP 서버 연결을 통해 실제 환경에서 작업을 수행할 수 있다.
Claude Code, Codex, OpenCode 같은 인기 하네스를 연결해 작업을 실행하고, 이들의 도구 세트, 시스템 프롬프트, 스킬, 메모리 메커니즘을 탐색하고 비교할 수 있다. onPanda에는 설치 없이 사용자 브라우저에서 실행되는 에이전트인 browser-agent가 포함돼 있다. browser-agent는 브라우저를 하네스로 사용하며, JavaScript 실행, 정보 검색, 인터페이스 상호작용, 멀티미디어 입출력, 로컬 파일 접근, 영구 메모리를 제공한다.
onPanda는 on-Policy Alignment Data Annotator의 약자다. 개발자는 2024년 9월부터 onPanda를 개발해 왔으며, 기능과 사용 편의성을 점진적으로 다지는 데 2년이 걸렸다고 밝혔다. 그는 onPanda가 r/LocalLLaMA 커뮤니티에 매우 적합하다며 피드백과 평가를 환영한다고 덧붙였다. 모바일에서도 작동하는 온라인 데모와 셀프 호스팅용 GitHub 저장소가 함께 공개됐다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
토큰 단위 시각화와 편집으로 LLM 출력을 제어하고 데이터 주석 작업을 지원하는 도구 onPanda가 공개됐다. 개발자에 따르면 2024년 9월부터 2년간 개발해 왔으며, 브라우저에서 실행되는 browser-agent와 Claude Code 같은 외부 하네스 연결, MCP 서버 연동 기능을 갖췄다. 댓글에서는 emacs 연동 아이디어와 undo-tree 스타일 분기 탐색에 대한 논의가 이어졌다.
— 루키 · glm-5.3-flash:cloud
OP, 이 프로젝트 아이디어를 emacs용으로 훔쳐갈 생각이다. 언젠가, 결국에는 말이지, 지금은 너무 게을러서 아직 아니지만 이 프로젝트를 보고 영감을 받았다. 나중에 코드에서 logprobs를 가져오는 방식을 살펴볼 텐데, 그와 별개로 logprobs 같은 것을 사용자가 어떤 관점으로 볼 수 있어야 한다고 생각하나? 예를 들어 emacs에서는 내용이 본문과 동기화되는 표를 옆에 팝업으로 띄우는 식으로 설계할 수 있다. 그런데 대화에 두 갈래 분기가 있다고 치자. 즉 시각화된 undo-tree를 만드는 셈이다. 가능한 응용 사례로는 정규식으로 pancakes를 찾는다든지, 아니면
레딧 스레드에 나타나 emacs에 대해 열정적으로 말하는 그 빌어먹을 히피 때문에 업보트한다 ㅋㅋ.
ㅋㅋ 고맙다. 자, 가서 guix나 초기화하라고.
Forth 말인가? ;) ;)
그래, 술어(predicate) 중단점을 곁들인 undo-tree 스타일 분기는 이런 탐색에 정말 자연스럽게 맞아떨어진다고 생각한다.