모델 가중치를 좀 더 합리적인 Q4_K_M이나 Q6_*로 양자화하면 VRAM이 충분히 확보되어 표의 많은 행이 '극도로 제한된 컨텍스트로 겨우 맞음'과 '유용한 컨텍스트를 넉넉히 쓸 수 있음'의 차이로 바뀐다. 또한 Qwen3.x-27B와 Gemma-4-31B-it의 이분법은 '높은 자원 효율 필요'(Qwen)와 '최고 지능 필요, 자원 효율은 무관'(Gemma) 축으로 작업을 구분하는 데 유용하다. 오픈 LLM 연구소들이 이런 서로 다른 트레이드오프를 가진 30B급 모델 옵션을 계속 제공해주길 바란다.

여기 사람들은 모델을 돌리기 위한 하드웨어에 3~5천 달러를 쓰는 것도 괜찮아하니, 하드웨어를 최대치로 끌어낼 수 있는 최적화된 모델에 50달러 정도는 지불할 수 있을 것이다. 어떤 사람들은 구독료로 한 달에 200달러를 쓰기도 한다.

Qwen3.8-Flash-Next는 희소 어텐션을 꽤 잘 처리하는 것 같다. 또 새 DeepSeek와 Qwen 모델 모두 희소 어텐션 관련 변수를 수정할 수 있어, 연산 속도를 희생하는 대신 어텐션하는 컨텍스트 양을 늘릴 수 있다는 점을 발견했다. 모델의 어텐션을 튜닝해 해당 용량의 하드웨어에 최적인 컨텍스트-성능 균형을 맞추는 것이 가능할 것이다.

하지만 균형이 필요하다. 인간으로서 나는 몇 분 전에 내가 말한 내용은 기억하지 못해도 말한 내용의 의미는 기억할 수 있다. 이것이 모델에서도 해결해야 할 과제다. DeepSeek에 대해서는 완전히 동의한다. 실제 환경 테스트 결과 희소 어텐션이 출력 품질을 크게 해치고 있음이 입증된다.

Qwen이 더 나은 아키텍처를 갖췄다고 주장하고 싶다. AA 환각 벤치마크만 봐라. DeepSeek는 높은 허구성 출력으로 차트 정상을 차지하고 있다. DeepSeek가 생성한 코드를 살펴보는 영상들을 봤는데, 아무 기능도 하지 않는 쓰레기 코드로 가득했다. DeepSeek의 어텐션은 너무 얇게 분산되어 있다. Qwen의 희소 어텐션은 적어도 컨텍스트 크기에 따라 확장되어 더 넓은 범위의 정보를 고려하는 능력을 유지하는 데 도움이 된다.