이는 클릭베이트가 아니라 실제 결과다. 필자는 Qwen 3.8 Flash Next Q2를 구동하는 데 성공했고, 테스트한 어떤 Qwen 3.6 35B A3B 파인튜닝 모델이나 Qwen 3.8 27B 모델보다 벤치마크와 실사용 테스트에서 더 나은 결과를 얻었으며, 현재 사용 중인 Qwen 3.6 35B A3B 설정보다도 빠르다. 약 일주일 전 이 서브레딧을 통해 Strata를 알게 됐는데, VRAM과 RAM, SSD 스토리지에 워크로드를 분산해 125B 파라미터 모델을 구동하고 놀라운 프롬프트 처리(PP) 속도와 토큰 생성(TG) 속도를 내는 능력은 거의 믿기 어려워 보였다. 다만 VRAM 12GB가 있어야 가능한 것으로 여겨져 처음에는 내 장비에서 비슷한 결과를 기대하지 않았지만 직접 시도한 결과에 놀라 공유하며 자신의 하드웨어에서 모델을 구동하는 방법을 안내하고자 한다.

필자의 시스템 사양은 다음과 같다. GPU는 RTX 5060 Laptop(8GB VRAM), CPU는 최대 5.4GHz의 16코어 32스레드 AMD Ryzen 9 8945HX, RAM은 32GB(16GB+16GB) DDR5-5200, SSD는 읽기 5,200MiB/s·쓰기 4,200MiB/s의 1TB, PCIe는 Gen 4 x8, OS는 Linux다. Strata 설정은 채팅용과 에이전틱용으로 나눠 공유했으며 모델과 전문가(expert) 파일 경로를 반드시 업데이트해야 한다. 채팅 설정은 일반 대화 같은 단일 세션에 사용하고, 에이전틱 설정은 에이전트 기반 시스템처럼 여러 세션과 위임 작업을 다룰 때 사용한다.

조정할 핵심 파라미터로는 --mmap-experts(메모리에 적재되지 않는 전문가를 SSD에 배치), --kv-resident 20480(KV 캐시를 VRAM과 RAM에 분산, 최솟값은 20480), --vram-reserve-mib 500(다른 작업을 위한 VRAM 여유 확보, 권장값은 900), --pcie-frac 0.35(GPU가 PCIe로 읽는 레이어당 VRAM 미스 비율 조절, 캘리브레이션 명령으로 튜닝 가능), STRATA_RESIDENT_HEADROOM_GIB=4(다른 작업을 위한 RAM 예약, Windows에서는 더 높게 설정)가 있다. 이 설정에서 가장 큰 성능 향상은 --vram-reserve-mib와 STRATA_RESIDENT_HEADROOM_GIB 조정에서 나왔다. 모델은 하드웨어에 가장 적합한 양자화라 판단한 Gyro S를 사용했으며, GSQ-RCO Coder와 GSQ-RCO IQ2_XS 등 다른 양자화는 반복 루프에 빠지거나 영어 외 언어에서 어려움을 겪었다. MTP는 사용하지 않았는데 TG를 개선하지만 VRAM을 소모하고 PP를 떨어뜨려 이 설정에는 불리한 트레이드오프이며, VRAM 10GB 이상이라면 활성화할 수 있다. Vision은 CPU에서 구동했는데 이미지당 1~2초가 걸리지만 상당한 VRAM을 절약할 수 있고, Strata는 Vision을 별도 프로세스로 실행하므로 스왑으로 옮겨 모델 성능에 큰 영향 없이 RAM을 더 확보할 수 있다.

로컬 모델로 병렬 에이전트 호출을 사용한다면 중요한 제약이 하나 있다. 컨텍스트 크기가 131K 토큰 이상이면 --parallel을 안전하게 사용할 수 없는데, VRAM과 RAM을 대량 소모해 속도 급락이나 OOM 오류를 일으킬 수 있기 때문이다. 더 안전한 대안은 --conversation-cache로, 제한된 수의 세션을 대기시켜 순차적으로 재개하게 한다. 진정한 병렬성은 제공하지 않지만 세션 전환 시 긴 컨텍스트를 다시 읽을 필요가 없다. 관련 파라미터로는 --conversation-cache-mib 4096(대기 세션 캐시 크기), --conversation-cache-slots 2(동시 저장 가능한 대기 세션 슬롯 수), --conversation-cache-min-tokens 8000(이 토큰 수 이하 세션은 캐시하지 않음), --conversation-cache-min-free-mib 1024(캐싱 시 유지할 최소 여유 RAM)가 있다.

이 파라미터들을 직접 조정할 때는 잘못된 설정이 시스템 안정성에 영향을 주거나 모델을 과도한 스왑 상태로 몰아넣을 수 있으므로 주의해야 하며, 시스템의 총 메모리를 초과해서는 안 된다. 모든 테스트는 RAM 할당에 유연성을 주는 Linux에서 진행됐다. Windows 사용자라면 모델에 더 적은 메모리를 할당해 보라. 이 경우 처리량이 크게 감소할 것이다.