최근 하드웨어 부족으로 인해, 불행한 일인지 다행인지 모르겠지만 문제에 무한한 클라우드 연산을 쏟아부을 수는 없게 되었고, 대신 내부에서 실제로 무슨 일이 일어나는지 관심을 가질 수밖에 없게 되었다. 우리는 추론 엔진을 튜닝하고, 양자화 수학을 배우고, 아키텍처를 최적화하면서 최소한의 셋업으로 최대한의 성능을 짜내고 있다.

사실 최근 Strix Halo의 포크된 llama.cpp와 halogen-flash-server가 성능을 폭발적으로 끌어올렸다. Qwen 3.8 Flash Next(Q38FN) 기준으로 디코드 성능은 두 배(52tok/s), 프리필 성능은 5~6배(1300tok/s)에 달한다. Q38FN 자체도 Engram을 적용한 대대적인 아키텍처 개선으로, 작을 뿐만 아니라 똑똑한 모델이 되었다.

하드웨어 부족 이전을 기억한다. 튜닝과 최적화를 좋아하는 사람으로서 당시 사람들은 그만하라고 했다. 튜닝은 어리석은 짓이니 RAM을 더 사고 GPU를 더 사라고 했다. 이는 초기 웹을 떠올리게 한다. 박스를 셋업하거나 서버를 호스팅하는 것이 포럼 게시글을 뒤지고, IRC에서 문제를 해결하고, 돌아가게 만들려고 커스텀 스크립트를 자유롭게 공유하던 시절 말이다. 그 시대는 프로그래머만 양산하지 않았다. 베어 메탈부터 스택 전체를 이해하는 극도로 다재다능한 엔드투엔드 사고형 인재들을 길러냈다.

이를 오늘날 메인스트림 웹 문화의 종착점과 비교해 보자. TikTok, Facebook, YouTube 등 오늘날 대부분의 플랫폼은 마찰 없는 무한 스크롤을 위해 설계되었다. 주의를 분산시키고 시간을 낭비하게 만들도록 설계된 끝없는 숏폼 영상 피드들이다. 우리는 편리함에 과도하게 길들여졌다.

핵심은 이것이다. 가진 것이 너무 적으면 더 배우려 하고, 너무 많으면 산만해져서 너무 조금밖에 배우지 못한다. 로컬 LLM 커뮤니티의 황금기가 바로 지금이다. 함께 배우고 발전하자.