'Strata' 엔진으로 12GB VRAM·64GB RAM 노트북에서 Qwen3.8 Flash Next ISTA-DASLab GGUF 50t/s TG 및 1500t/s PP 달성
원문 제목 — Qwen3.8 flash next ISTA-DASLab GGUF 50t/s TG and 1500t/s PP with 12GB VRAM and 64GB RAM Laptop on 'Strata' engine
📄 전문 번역
이 추론 엔진을 대부분의 사람들이 간과하고 있다고 생각한다. 여러 llama.cpp 포크를 시험했지만 어느 것도 Strata의 추론 속도에 근접하지 못했다. 초기 버전은 kv 캐시와 CPU 스로틀링 버그가 있었으나 개발자가 이를 수정했다. 이 엔진은 현재 Nvidia에서만 구동되며 AMD 지원은 실험적이고 GitHub에 공개돼 있다. 스크린샷과 함께 주요 측정치를 소개한다. 사용한 노트북은 5070ti 12GB VRAM, 64GB DDR5 RAM, Intel 275HX CPU, gen4 SSD 사양이다.
아쿠아리움 테스트(로컬 API로 연결한 Unsloth Studio)에 사용한 모델은 ISTA-DASLab의 Qwen3.8-Flash-Next-GSQ-RCO-GGUF IQ3_XXS 양자화로, 크기 대비 좋은 품질을 자랑한다. 위 결과에서 모델은 아쿠아리움 테스트를 생성했다. 43k 컨텍스트 깊이에서 51 t/s로 구동됐으며, 동일 양자화의 기본 llama.cpp는 23 t/s에 그쳤다.
32k 컨텍스트를 1500 t/s로 읽어냈다(로컬 API로 연결한 Unsloth Studio). 동일 양자화에서 기본 llama.cpp의 PP는 100 t/s에 불과했다. Strata는 32k 컨텍스트 텍스트를 1500 t/s로 처리해 예상을 훌쩍 넘었다. 이 양자화는 8비트에서 최대 200k 컨텍스트까지 로드할 수 있지만, 테스트에서는 131k 컨텍스트만 사용했다.
메모리 사용률을 보면 11GB VRAM과 56GB RAM(시스템·OS 프로그램 포함)을 활용한다. 이 엔진은 특정 단일 모델 전용으로 제작됐으며 선별된 GGUF(ISTA-DASLab)만 호환된다. ISTA-DASLab의 IQ3_S는 코딩 벤치마크에서 전체 모델 성능을 회복한다고 주장된다. IQ3_XXS를 한동안 테스트한 결과 훌륭한 모델이라 평한다. 12GB VRAM으로 6개월 전 프론티어 모델을 노트북에서 로컬로 구동할 수 있을 줄은 몰랐다. 살아있기에 참 좋은 시대다!
이 글은 레딧 사용자 MLDataScientist가 제출했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
신규 추론 엔진 Strata가 llama.cpp 대비 월등한 속도로 화제를 모으고 있다. 12GB VRAM 노트북에서 ISTA-DASLab Qwen3.8 Flash Next IQ3_XXS 양자화 모델을 43k 컨텍스트에서 51 t/s TG로, 32k 컨텍스트를 1500 t/s PP로 처리했다. 다만 댓글에서는 출력 재현성 검증 부족과 바이브코딩 기반 개발에 대한 회의적 시각도 함께 제기됐다.
— 루키 · glm-5.3-flash:cloud
llama.cpp와 비교해 동일 입력에 대해 정확히 같은 토큰을 같은 순서로 출력하는지 검증한 사람이 있나? Strata 작성자 스레드에서는 이 질문에 답이 없었다.
Blender 테스트 2건과 JS 코딩 테스트를 교차 비교했고 결과는 동일했다. 다른 항목은 테스트하지 않았다. 작성자가 로짓과 KLD가 무엇인지도 모른다는 점을 감안하면, 뭐...
이건 확실히 처음부터 끝까지 바이브코딩으로 만든 것이다. dsv4.1 flash로 몇 시간이면 추론 엔진을 만들 수 있다. 하지만 검증할 사람들을 확보하고 속도가 유지된다면 GPU 빈곤층에게는 엄청난 소식이 될 수 있다. 그래도 회의적이다. 머지되지 않은 오래된 PR의 수정된 expert cache를 적용한 내 llama.cpp 포크에서 TG 60% 향상을 본 적은 있다. 물론 쓰레기 대비 60%였지만 적어도 지금은 어느 정도 쓸 만해졌다. 그래서 긍정적으로 보려 한다.
기초를 이해하지 않고도 유용한 도구를 바이브코딩하는 것에 전적으로 찬성하지만, 유일하게 이뤄진 출력 검증이 3D 모델 원샷뿐이었다는 게 문제다.
사실 3D 모델 원샷에서 이 모델들의 디테일에 대한 주의력을 가늠할 수 있다. 예컨대 3.8 27b 기반 Swift 1.5는 과하게 생각하지 않고 일단 작동하면 멈추는 모델로, 디테일에 대한 주의가 없다. 원하는 대로, 시키는 대로 정확히 수행할 뿐이다.