최근 로컬 LLM 관련 흐름이 너무 카오스해서 자기용으로 정리한다. 필자가 직접 시험해본 소감을 곁들인 메모이며, 객관적인 에비던스나 판단 자료를 제공하는 것이 아니다. 궁금한 것은 각자 직접 시험해보라는 입장이다.

Strata는 Qwen3.8 Flash Next 전용 추론 엔진으로, MoE의 Expert를 GPU VRAM과 RAM에 분산 배치하고 Speculative Decoding 등을 활용해 고속화를 실현한다. 고사양 환경에서의 고속 동작은 물론, VRAM 8GB 정도라도 RAM을 64GB 정도 적재하면 충분히 실용적인 속도가 나와 주목받고 있으며 공식 권장은 VRAM 12GB 이상이다. 이제야 정밀도와 속도를 겸비한 로컬 에이전트가 일반 가정(극단적인 하이엔드 매니아 가정이 아니어도)에서 동작하기 시작한 느낌이며, 필자의 5090, 5070, 2070에서도 쾌적하게 동작해 만족스럽다. Project Maya는 GLM 5.3 Flash(321B MoE) 전용 추론 엔진으로, Strata를 기반으로 GLM용으로 대폭 개량한 프로젝트다. Expert를 GPU VRAM, RAM, NVMe SSD에 계층 배치함으로써 원래 대용량 VRAM이 필요한 모델을 컨슈머 GPU에서도 실행 가능하게 했으며, 모델 자체 크기가 Strata가 다루는 Qwen3.8 Flash Next보다 커서 요구 사양과 속도는 필연적으로 다소 엄격하지만 GLM이 RTX 3090에서 동작 가능해진 파급력은 크다.

Qwen Image 2.1 Turbo는 이미지 생성·편집용 모델 Qwen Image 2.1의 8step 버전 체크포인트(LoRA가 아닌 모델 본체)로, 7B 이미지 생성 모델이면서 적은 스텝 수로도 고품질 생성·편집이 가능해 로컬 이미지 생성 모델의 새로운 표준이 될 가능성이 제기된다. 필자는 RTX 5090에서 한 장을 약 4초 만에 생성했다. pentacoxian-dev/iris-3b-turbo-lora는 이미지 생성·편집용 모델 speridlabs/iris-3b의 4step turbo LoRA로, 베이스 모델 Iris-3B는 VAE를 사용하지 않고 픽셀 공간에서 직접 이미지를 생성하는 3B Diffusion Transformer다. 이 역시 로컬 이미지 생성 모델의 새로운 표준 후보로, 필자의 RTX 5090에서 한 장을 약 0.9초 만에 생성했다.

계속 지켜볼 대상으로는 agentionai/Qwen3.8-Flash-Next-Gyro-GGUF가 소개됐다. 이는 Strata가 다루는 ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF의 1bit, 2bit 양자화 모델의 정밀도 문제에 대응해 정밀도 유지를 목적으로 개발 중인 별도 방식의 Gyro 양자화 모델로, 가중치를 회전한 기저로 양자화하는 독자 방식으로 저비트 양자화에 따른 정밀도 저하 억제를 노린다. 실제로 메모리 풋프린트가 작고 고속 동작하지만 코딩 결과물이 저품질인 경우도 있어 Strata의 메인 브랜치를 버리고 전용 모델·전용 브랜치로 당장 갈아타기에는 부담이 될 수 있지만 앞으로가 기대된다는 평가다. mirai-s-ada는 Qwen3.8 27B 기반 독자 모델 Mirai S 27B와 전용 추론 엔진으로, 12GB VRAM에서도 동작 가능한 저메모리 구성이 특징이며 12GB VRAM에서 decode 70tok/s라는 내세운 사양대로 필자의 5090에서도 70tok/s 정도가 나왔다. 다만 코딩 결과물이 저품질인 경우도 있어 Flash Next(=Strata)를 제치고 당장 갈아타기는 부담될 수 있지만, 27B를 구동할 전제라면 좋은 선택지라는 평가다.

TensorFold는 Qwen, GLM, Nemotron 등을 고속 구동하기 위한 Zig 기반 네이티브 추론 엔진으로, Apple Metal과 NVIDIA CUDA에 대응하며 Python에 의존하지 않고 추론을 실행한다. Speculative Decoding을 통한 고속화에 더해 일반 순차 생성과의 출력 일치를 중시한 설계가 특징이며, 실행 중인 모델에 새로운 지식을 학습시켜 가중치에 저장하는 Living Weights라는 실험적 기능도 탑재했다. 필자는 아직 직접 사용해보지 못했지만 대단해 보인다는 반응을 남겼으며, 이 외에 유익한 로컬 LLM 정보가 있으면 알려달라며 아직 다 따라가지 못하고 있다고 덧붙였다.