봇도 아니고 Strata 알선업자도 아니다. 그저 경험을 공유할 뿐이다. 이 사용자의 시스템에는 R9700과 RTX 5060 Ti, 그리고 64GB DDR5 시스템 RAM이 장착되어 있으며 전체적으로 나쁘지 않은 구성이다. 주로 R9700에서는 일상용 로컬 LLM을 구동하고 5060 Ti에서는 ComfyUI로 이미지/비디오 추론을 돌리는데, 대부분 Minimax H3 같은 작업이며 이 역시 시스템 RAM을 엄청나게 소모한다. R9700에서는 Qwen3.8-27B Q6를 일상용으로 사용해 왔고 약 35 t/s로 구동되는데 일상용으로는 충분한 수준이다.

Strata 이전에는 vulkan으로 두 카드 모두에서 Qwen3.8-Flash-Next를 IQ4_XS(정확한 양자화 명칭은 불확실, 약 93GB짜리)로 구동해 봤지만 15 t/s 정도밖에 나오지 않아 일상적으로 쓸 수 없어 접어두었고 별 관심이 없었다. 그러다 Strata가 출시되고 QFN이 훨씬 소박한 하드웨어에서도 사용 가능하다는 주장이 나와 확인해 보니 대부분 약 70GB 남짓인 IQ3_XXS 양자화를 돌리고 있었으니 당연히 더 빠른 것이다.

먼저 llama.cpp에서 해당 양자화를 시스템 RAM과 R9700만으로 벤치마크한 결과 21 t/s가 나왔는데, 이는 일상용으로 수용할 수 있는 절대 최소치 근처지만 솔직히 크게 매력적이지는 않았다. 같은 양자화를 Strata에서 시험하니 약 60 t/s가 나왔고 이는 매우 매력적인 수치로, 이제 100% 이것을 일상용으로 쓰고 싶다. 문제는 QFN을 Strata에 로드하면 시스템 RAM 사용량이 96%에 달해, Minimax H3 역시 시스템 RAM을 많이 먹는 탓에 5060 Ti의 ComfyUI에서 Minimax H3를 돌릴 수 없다는 점이다. 드디어 이 훌륭한 모델을 구동할 수 있게 된 것은 축복이지만 어떤 워크로드를 돌릴지 선택해야 하는 것은 저주처럼 느껴진다. 누군가 128GB RAM으로 업그레이드하라고 말하기 전에 미리 말하건대, 올해 산 장난감들을 균형 맞추기 위해 아내가 공평성을 이유로 요구하는 보석과 해외여행 비용을 감당할 수 없어 업그레이드하지 못한다. 64GB RAM으로 우는 중이다.

댓글의 몇 가지 제안 덕분에 Qwen3.8-Flash-Next IQ3_XXS와 Minimax H3 추론을 시스템 RAM 사용량 약 90%에서 동시에 구동하는 데 성공했다. Strata 쪽에서는 --mmap-experts, --resident-cpu-experts, --expert-cache auto 옵션이 필요했고 ComfyUI 쪽에서는 --fast-disk가 필요했다. 두 작업을 완전히 동시에 실행하며 Strata의 모니터링 탭을 확인한 결과, H3 가중치를 로드하는 노드가 잠시 NVMe 읽기를 지속 1GB/s까지 끌어올려 Strata 추론이 25~40 t/s 범위로 떨어질 수 있었지만(그 동안 변동이 컸다) 이후 H3가 실제 추론을 수행할 때는 NVMe 읽기가 지속 약 30MB/s에 머물렀고 QFN 추론은 50~60 t/s 사이에서 구동되었다. 이는 큰 승리라고 할 수 있다. 참고로 LLM 테스트 시 표준 테스트는 브라우저 게임 작성 요청이므로 예상 출력 품질에 익숙한 상태에서 이를 수행했고, 0.4MP 해상도로 10초 클립도 생성했다. H3의 실제 생성 소요 시간은 약 400초로 거의 영향을 받지 않았으며 아주 미세한 성능 저하가 있을 수 있지만 그 정도로 미미하다. (작성자: /u/Cautious_Chicken_604)