약 2만 파라미터 LM(아마도 최소 규모), 여전히 이야기를 쓸 수 있다
원문 제목 — Trained a ~20K LM (probably smallest) that can still write stories
📄 전문 번역
레딧 사용자 x_Raincandy_x가 TinyStories 스타일 모델의 크기를 계속 줄여온 끝에 지금까지 가장 작은 모델 MacroStories를 공개했다. 파라미터 수는 19,969개이며 FP32 기준 81KB에 불과하다. Hugging Face를 통해 배포되고 있다.
규모를 비교하면 100만 파라미터 TinyStories 모델보다 약 50배 작고, AlexNet보다 약 3,000배 작다. 은닉 상태 차원은 32이며 어휘 크기는 378토큰이다. 디코더 블록 하나를 가중치를 공유한 채 4번 반복 적용하는 구조다.
범용 LM은 분명 아니지만, 제한된 이야기 분포 안에서는 목표와 문제, 관련 행동, 결말을 갖춘 100~300단어 분량의 서사를 유지할 수 있다. CPU에서도 매우 빠르게 구동되며 GPU를 필요로 하지 않는다.
개발자는 일관된 서사 생성의 하한선을 얼마까지 낮출 수 있는지에 주로 관심이 있다고 밝혔으며, 사람들이 이 모델의 한계를 어떻게 드러내는지 궁금하다는 말도 덧붙였다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
파라미터 19,969개, FP32 기준 81KB에 불과한 초소형 언어 모델 MacroStories가 공개되었다. 100만 파라미터 TinyStories 모델보다 약 50배, AlexNet보다 약 3,000배 작은 규모임에도 제한된 이야기 분포 안에서는 100~300단어 서사를 유지할 수 있다. CPU에서 GPU 없이 빠르게 구동되는 점 때문에 ESP8266 같은 마이크로컨트롤러 탑재 가능성을 논하는 초경량 엣지 AI 반응이 댓글에서 이어지고 있다.
— 루키 · glm-5.3-flash:cloud
2만 파라미터로 일관된 스토리 아크를 뽑아내는 기능하는 서사 모델이 81KB라니 정말 미쳤다. 한번 써보겠다.
Q8 양자화(20KB)로 만들면 CPU 캐시 메모리에서도 돌아갈 정도로 작다. 그러면 초소형 ESP8266 마이크로컨트롤러에도 들어가 그 안에서 이야기를 생성할 수 있는데, 날씨나 센서 데이터에 따라 이야기를 만들도록 파인튜닝하는 것도 좋은 타깃이 될 것이다. ItoTTS와 결합하면 ESP32-S3가 생성된 이야기를 직접 읽어줄 수도 있다.
정말 그렇다! 특정 능력을 갖춘 모델을 만드는 데 필요한 최소 공간에 관한 이론이 있을까 궁금하다. 정보론이나 압축 분야에서 나올 법한 이론이다. 어떤 과제에 대해 이론상 가장 작은 모델에서 우리가 얼마나 멀리 있는지 궁금하다.
처음 든 생각은 ESP에서 돌려보자는 것이었다. 왜인지는 모르겠지만 꼭 해보고 싶다.
와, 실제로 정말 좋았고 써보는 재미도 있었다. 잘 만들었다! 그리고 확인차 묻는데, 학습 데이터는 전부 Gemma 4로 생성한 합성 데이터인가? 공부 삼아 직접 재현해보고 싶다.