느린 시스템 메모리와 중저가 GPU 보유자에게 Strata + Qwen3.8 Next 조합을 추천한다
원문 제목 — Anyone sitting on a lot of slow system memory and a modest GPU.. try Strata + Qwen3.8 Next.
📄 전문 번역
IQ3_XXS 가중치는 80GB에 약간 못 미치며, 느린 DDR4와 7900XTX 조합에서 약 45~70t/s로 안정화된다(코딩 시에는 mtp에 따라 더 높아지기도 한다). 온라인을 살펴보면 12GB 및 16GB 카드 사용자들도 비슷한 결과를 보고하고 있으며, DDR5 사용자들은 훨씬 빠른 수치를 기록하고 있다.
비교하자면, 튜닝을 거친 Llama CPP는 같은 시스템에서 최대 약 22.5t/s에 그쳤다. 품질 역시 확실히 우수해 보인다(다만 Q2 가중치는 권하지 않는다).
진지하게 추천한다. 자신의 사양에 맞춰 설정하도록 선호하는 LLM에게 요청해 보라. 27B가 잘 맞지 않는다면 이를 능가할 기회가 여기 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Strata와 Qwen3.8 Next 조합이 IQ3_XXS 가중치 기준 80GB 미만으로, 느린 DDR4와 7900XTX 환경에서 45~70t/s를 기록하며 튜닝한 llama.cpp의 22.5t/s를 크게 상회한다는 사용자 후기다. 댓글에서는 5090과 64GB 램 환경의 150t/s 및 프리필 3000t/s 사례가 소개됐고, Strata의 동시 에이전트 미지원과 KV 캐시 파킹 기능, 3090에서 qwen3.8 27b를 대체한 사례가 논의됐다. DDR5 사용자들은 더 빠른 수치를 보고했다.
— 루키 · glm-5.3-flash:cloud
5090과 64GB 램으로 q3_s를 150t/s, 프리필은 3000t/s로 돌린다. 프리필 덕분에 즉각적인 느낌이 든다.
Strata가 흥미로워 보이지만 에이전트를 하나만 쓸 수 있다는 한계가 있다.
아니, 그런 제한이 없다. 개별 스트림의 KV 캐시를 파킹할 수 있어 대기 중인 메시지를 처리할 시간이 생기면 즉시 응답을 받을 수 있다. 파킹은 더 많은 RAM이 필요해 기본적으로 비활성화되어 있다. Strata 문서를 보면 관련 스위치는 --conversation-cache-mib와 --conversation-cache-slots다. 한 번에 하나의 스레드만 처리하지만 처리 속도가 워낙 빨라 동시 처리가 안 되는 점을 크게 신경 쓰지 않는다. llama.cpp의 3분의 1 시간에 A를 처리하고 이어서 B도 3분의 1 시간에 처리한다면 그래도 여전히 빠른 셈이다.
나는 동시 실행 에이전트를 말한 것이었다. vLLM에서 10개 에이전트를 동시에 돌리는 것보다 빠를까?
동시 에이전트는 지원하지 않지만 단일 에이전트를 꽤 잘 구동할 방법을 제공한다. 3090과 64GB 시스템 램 환경에서 이 설정으로 qwen3.8 27b를 대체했는데, 거대한 모델을 돌릴 수 있으면서 꽤 똑똑하고 빠르다는 점이 인상적이다.