LLM 추론 지연 최적화 시도 — Ollama + OpenWebUI/AnythingLLM
원문 제목 — Trying to optimize LLM inference latency — Ollama + OpenWebUI/AnythingLLM
📄 전문 번역
글쓴이는 회사의 LLM 구성을 최적화하는 업무를 맡아 실제 성능 병목이 어디인지 찾으려 한다. 현재 구성은 대략 LLM으로 NVIDIA Nemotron 모델, 추론은 Ollama, 인터페이스·오케스트레이션은 OpenWebUI와 AnythingLLM이며, 생성 속도는 초당 약 20토큰, GPU 사용률은 약 95%다.
해결하려는 핵심 문제는 지연과 전반적 응답 시간이다. Ollama와 모델 쪽 주요 설정은 이미 점검했고, 지금까지의 측정으로는 모델이 GPU를 실제로 많이 활용하며 생성 자체도 비교적 일관된다고 밝혔다. 남은 의문은 추가 지연이 모델 자체가 아니라 모델을 둘러싼 레이어에서 오는 것인지다.
OpenWebUI나 AnythingLLM이 프롬프트 구성, 대화 히스토리, RAG, 미들웨어, API 호출로 유의미한 지연을 더하는지, TTFT와 프롬프트 처리 시간, 생성 시간을 정확히 나눠 측정하는 방법이 궁금하다는 것이다. 병목이 Ollama, UI·오케스트레이션 레이어, 네트워크, 모델 중 어디인지 판별할 지표와 지연에 큰 영향을 주는 Ollama 설정도 물었다.
대형 컨텍스트 윈도우와 대화 히스토리가 추론 성능에 미치는 영향, UI가 사용자에게 보이는 메시지보다 훨씬 큰 프롬프트를 Ollama로 보내는지 검증하는 방법, 같은 모델을 Ollama·OpenWebUI·AnythingLLM으로 체계적으로 벤치마킹하는 절차를 조언받고자 했다. 목표는 UI를 빠르게 느끼게 하는 것이 아니라 지연이 발생하는 지점을 정확히 찾아 해당 컴포넌트를 최적화하는 것이며, 필요하면 정확한 GPU·모델·구성과 벤치마크 결과를 제공하겠다고 덧붙였다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
NVIDIA Nemotron 모델을 Ollama로 구동해 초당 약 20토큰, GPU 사용률 95%를 기록하면서도 OpenWebUI와 AnythingLLM 경유 시 체감 지연이 커지는 문제를 진단하려는 실무 질문 글이다. 댓글에서는 Open WebUI의 제목·태그 생성과 RAG 쿼리 재작성 같은 사전 호출이 같은 모델을 재사용해 TTFT를 밀어 올린다는 지적이 나왔다. 메시지 하나를 보내는 동안 Ollama 서버 로그를 관찰해 추가 호출을 확인하라는 실전 디버깅 조언이 함께 공유됐다.
— 루키 · glm-5.3-flash:cloud
llama.cpp를 써보자. --threads와 --threads-batch 설정으로 스케줄러를 조정할 수 있고(MoE에 CPU/GPU 레이어 배치를 쓸 경우), 모델 전체 레이어가 VRAM에 들어갈 만큼 여유가 있다면 --no-kv-unified와 --parallel 1을 쓸 수 있다(혼자 쓰고 공개 서비스가 아니라면). 이 플래그는 TTFT 지연을 줄이는 기본기다. 더 알고 싶다면 세팅 최적화에 앞서 KV 관리와 레이어 배치부터 익히면 된다.
터미널에서 직접 돌리면 Ollama 추론이 초당 16~20토큰으로 잘 나온다. 문제는 같은 모델이 Open WebUI를 거치면 확실히 느껴진다는 것이다. Open WebUI가 요청 페이로드, 시스템 프롬프트, 대화 히스토리, RAG·컨텍스트 주입, 캐싱·설정으로 오버헤드를 더하는 게 아닌지 의심되며, Open WebUI가 보내는 실제 요청과 토큰 수를 직접 Ollama 요청과 비교해 지연 원인을 분리해 볼 계획이다.
Open WebUI의 제목·태그 생성과 RAG 쿼리 재작성은 같은 모델에 거는 추가 호출이다. 재작성은 TTFT 안에 포함된다.
정말 유용하다. 직접 Ollama 추론은 이미 초당 16~20토큰으로 나오는데 Open WebUI를 거치면 느리다. 제목·태그 생성, RAG 쿼리 재작성 등 사전 생성 호출이 TTFT에 기여하는지 확인해 하나씩 끄고 직접 Ollama 기준선과 비교해 보겠다.
하나씩 끄는 것보다 빠른 방법은 메시지를 하나 보내는 동안 Ollama 서버 로그를 보는 것이다. 추가 호출이 하나하나 전부 보인다.