Ollama로 구동되는 로컬 LLM의 동작을 시각적으로 관측하는 오픈소스 도구 LLMxRay가 GitHub를 통해 소개되었다. Ollama에서 모델을 하나 이상 받아둔 상태에서 npx llmxray 명령어나 Docker 컨테이너로 실행한 뒤 localhost:5174에 접속해 모델을 고르고 메시지를 보내면 바로 사용할 수 있다.

LLMxRay는 토큰별 생성 속도, 프롬프트 비용, 캐시가 도움이 됐는지, 어떤 설정이 실제로 더 나았는지, 다른 도구가 같은 모델에 무엇을 보내는지를 답해준다. 프롬프트 X-ray 기능은 각 턴을 막대로 그려 색으로 시스템 프롬프트, 도구 스키마, 이전 턴, 새 메시지 같은 구성 비중을 보여주고, 밝기로 캐시에 있어 비용이 없었는지 다시 읽었는지, 줄무늬로 데몬이 잘라 모델이 보지 못했는지를 표시한다. 대화 턴을 쌓아 보면 캐시가 자라는 과정, 시스템 프롬프트의 타임스탬프가 캐시를 비운 턴, 프롬프트가 컨텍스트를 초과해 Ollama가 시작 부분을 조용히 버리고 답한 턴을 확인할 수 있으며, 요소를 클릭하면 요청 본문의 해당 지점이 열린다.

Shared box는 현재 Ollama가 느린 이유와 원인이 된 도구를 남에게 끼친 비용 순으로 한 줄씩 보여주며, 매 실행마다 모델을 언로드하는 keep_alive 0 설정이나 4K 프롬프트에 128K 컨텍스트를 요구해 데몬을 한 번에 하나의 요청만 처리하게 만드는 사례와 함께 바꿀 설정을 알려준다. GPU map은 카드 폭을 하나의 막대로 그려 각 모델의 가중치와 컨텍스트 비용, 남은 공간을 보여주고 다른 받아둔 모델이 지금 들어갈 수 있는지, 언로드 후에야 들어가는지, 카드보다 큰지 판정한다. Tool calls는 에이전트가 보내는 13가지 요청 형태를 데몬의 응답 기준으로 점수화해 모델이 에이전트를 구동할 수 있는지 평가하고, 채팅 화면은 도착하는 토큰을 신뢰도에 따라 색칠해 그리며 반복, 거절, 깨진 출력, 빈 응답, 토큰 한도로 잘린 답변에만 배지를 표시한다. 세션 심층 보기에서는 첫 토큰까지의 시간, 토큰 간 간격, 추론 블록, 도구 호출, 실제 전송된 프롬프트를 타임라인으로 확인할 수 있다.

Live 기능은 Ollama와 똑같이 동작하며 모든 것을 전달하는 11435 포트를 추가로 연다. VS Code Copilot, Open WebUI, Continue, n8n 또는 자체 스크립트를 이 포트로 향하게 하면 각 턴의 클라이언트, 모델, 프롬프트 크기, 캐시 히트, 프리필과 생성 속도, 도구 호출이 표시된다. 턴을 선택하면 프롬프트의 구성과 이전 턴과 일치하지 않기 시작한 지점, 즉 캐시가 깨진 지점을 볼 수 있고, 매 턴 프롬프트 전체를 다시 읽는 클라이언트, 컨텍스트에 맞추려 프롬프트를 조용히 자르고 아무 말도 하지 않는 데몬, 부분적으로 CPU에서 도는 모델, 매 프롬프트의 40%를 차지하는 도구 스키마 같은 findings를 문장으로 알려준다.

개인정보 측면에서는 카운트와 타이밍만 메모리에 보관하며, 프롬프트 텍스트는 옵트인 시 로컬 파일에 기록된다. 어떤 데이터도 머신 밖으로 나가지 않으며, Live 로그가 다른 도구가 보낸 내용을 담고 있기 때문에 두 포트 모두 기본적으로 이 머신에서만 응답한다.