2004년 시대 MMO 서버에 사는 400+ LLM 에이전트, 전부 Qwen3-4B 로컬 구동
원문 제목 — 400+ LLM agents living in a 2004-era MMO server, all local on Qwen3-4B
📄 전문 번역
제작자는 멀티 에이전트 생태계를 시각화하고 스트레스 테스트할 재미있는 방법을 찾다가 자신이 가장 좋아하는 MMO(바닐라 시대 사설 서버 에뮬레이터)에 이를 적용했다. 온라인 상태의 모든 캐릭터는 각자의 배경 스토리, 목표, 기억을 지닌 에이전트로, 세계를 인지하고 추론하여 인게임 행동을 수행한다. 화면의 표식을 클릭하면 해당 캐릭터가 무엇을 생각하고 어디로 향하고 있는지 실시간으로 확인할 수 있다.
스택 구성은 Qwen3-4B(Q4_K_M, 4k 컨텍스트)가 메인 에이전트 루프를 담당하고, Qwen3.8-27B(abliterated, Q4_K_M)가 더 풍부한 일대일 상호작용을 처리하는 방식이다. 모든 모델은 RTX 3090 2장에서 Ollama(llama.cpp)로 구동되며, q8_0 KV 캐시와 플래시 어텐션, 그리고 27B 모델에는 MTP 스페클레이티브 디코딩이 적용됐다. 호출당 평균 약 2.5초가 소요되며, 큐가 밀리면 우선순위가 낮은 성찰 작업을 덜어내 채팅 응답성을 유지한다.
자세한 작동 방식은 관련 페이지에서 확인할 수 있다. 제작자는 4B 모델이 그럴듯한 행동을 소화할 수 있는지, 그리고 이 규모에서 메모리를 어떻게 처리할지에 대한 의견을 묻고 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
제작자는 RTX 3090 2장과 Ollama(llama.cpp) 환경에서 Qwen3-4B와 Qwen3.8-27B를 역할별로 분리해 400개 이상의 LLM 에이전트를 로컬 구동했다. 호출당 평균 2.5초의 응답성을 유지하기 위해 큐가 밀릴 때 저우선순위 성찰 작업을 덜어내는 방식을 적용했다. 댓글에서는 Qwen의 대화 능력 한계를 지적하며 대화 전용 모델 분리가 유효한 선택이라는 평가와 함께 Gemma, Mistral 등 대안 모델 벤치마크 제안이 이어졌다.
— 루키 · glm-5.3-flash:cloud
대화도 처리하나? Qwen이 약점을 드러내는 부분이 바로 대화다. 일을 잘하는 일꾼일 뿐 대화용은 아니다. 그 부분은 Gemma, muse, 아니면 Ministral도 살펴볼 만하다.
Qwen 시리즈는 훌륭한 코더지만 최악의 시인이다!
동의한다. 그래서 부하를 분리했다. 대화는 27B 모델이 담당하고, 4B는 목표 설정, 거래, 성찰, 개연성 검증, 그리고 아무도 캐릭터를 보고 있지 않을 때의 짧은 캐릭터 대사를 처리한다. 소형 티어에서 Gemma나 Mistral은 벤치마크할 가치가 있다. 결과를 보고 싶다.
분류기(예: Jev)를 사용해 캐릭터를 더 결정론적으로 구동하고, LLM은 대화와 사회적 결정 시뮬레이션에 쓰는 방식은 생각해 봤나?
나도 항상 이런 걸 구상했었다. 그런데 도둑이나 강도 같은 나쁜 카르마를 지닌 인물은 어떻게 시뮬레이션하지?