Engram 폭주! 2b 모델 업데이트...
원문 제목 — Engram gone wild! 2b model update...
📄 전문 번역
약 일주일 전 r/LocalLLaMA에 소형 모델 Engram 실험을 공개했던 개발자가 후속 업데이트를 발표했다. 그는 모델과 코드에 대한 요청이 많았지만, 학습이 부족한(undertrained) 모델은 지금 당장 쓸모가 없다며 세부 사항을 직접 공개하기로 했다고 밝혔다.
수많은 테스트 끝에 확정된 사양은 다음과 같다. 임베딩, LM Head, AttnRes 등을 모두 합쳐 전체 2.6b 규모이며 이 중 2.2b가 학습되고, 임베딩과 LM Head는 각각 약 205m 규모로 동결된다. 여기에 4.3b 규모의 ENGRAM 테이블이 얹히는데, 작성자는 '정말 커다란(chonky)' 테이블이라고 표현했다. 아키텍처는 표준 어블레이션에서 최적으로 나타난 3:1 SWA 레이어링을 따라 4k/4k/8k SWA 레이어 뒤에 글로벌 레이어가 이어지며, 첫 번째 블록(4개 레이어) 끝에 Engram 테이블이 등장한다. Engram 테이블은 소수의 어텐션 헤드로 구동돼 데이터를 무분별하게 주입하지 않는 컨텍스트 인지형 방식이며, Qwen이나 DeepSeek의 방법과 정확히 어떻게 같은지는 확신할 수 없지만 상당히 유사하고 차이는 Engram 크기라고 설명했다. 총 10개 블록과 마지막 글로벌 레이어(41개 레이어)에 임베딩과 LM Head가 더해진 구조다.
최적화 문제는 백본의 연산을 최대화하고 지루한 작업은 테이블로 오프로드하는 것으로 정리되며, 여기서 Moonshot의 어텐션 기반 잔차(AttnRes)가 해결책이 된다. AttnRes 덕분에 첫 블록 이후 모든 블록이 잔차 스트림의 어텐션을 통해 Engram 데이터를 원하는지, 얼마나 가져올지 스스로 판단할 수 있다. Engram 테이블을 더 키우는 것도 가능하겠지만 연산과 테이블의 이런 불균형을 시도한 모델은 알지 못하며, 이론상 DeepSeek의 연구가 이를 뒷받침한다. 깊이를 더할 수도 있지만 학습 비용이 비싸다. LM Head와 임베딩을 동결한 이유는 OLMo 3 모델에서 SVD로 다운 프로젝션해 약 5k에서 2k로 압축했기 때문으로, 이 수학적 압축 시도가 막대한 시간을 절약한다. 데이터는 약 KD 형식으로 Wikipedia 코퍼스 teacher에서 저장한 32개 로짓을 담고 있으며, 1-hot 대신 32개 소프트 타깃을 맞추도록 학습한다. 하드 크로스 엔트로피는 모델에 가혹해서 '수조 토큰'이라는 수치가 인용되는 이유인데, LM Head, 임베딩, 토크나이저, teacher 모델을 빌리면 필요량이 훨씬 줄어든다.
학습은 태평양 표준시 기준 어제 새벽 4시경 1억(100m) 토큰 지점을 통과했으며, 현재 Hugging Face 저장소에 모든 체크포인트와 데이터, 104m 시점 safetensor가 공개돼 있다. 필요한 데이터의 일부만 본 상태에서 모델이 완전한 쓰레기는 아닌지 확인하기 위해 완성 테스트와 어블레이션, Engram에 정확히 무엇이 저장되는지에 대한 연구를 진행했다. 'George Washington was an American' 문장에서 Engram 사용 시 미국 독립 전쟁에서 복무한 해군 장교로 이어지는 그럴듯한 완성을 보인 반면, Engram을 0으로 만들면 문장이 붕괴됐다. 'The American Civil War' 문장은 Engram 사용 시 1861년으로, 미사용 시 1862년으로 연도를 완성했고, 'Aristotle was an Ancient Greek'는 사용 시 플라톤 철학의 주요 권위자인 철학자로, 미사용 시 'to be'를 뜻하는 단어로 완성됐다.
Engram 직접 검사에서 드러난 결론은 명확하다. 데이터를 충분히 여러 번 보면 모델이 이를 테이블로 오프로드하기 시작하고, 그 시점부터 내부 연산 공간에 데이터를 저장하도록 강요받지 않고 Engram에 의존할 수 있다는 것으로, 이는 해석이 아니라 데이터가 보여주는 그대로다. Wikipedia 초기 1억 토큰에서 Engram이 초기 철학 주제에 크게 치우친 것도, 초기 Wikipedia에 철학 항목이 가장 오래되고 많았기 때문에 반복 노출로 오프로드된 결과다. 그는 모델을 완주시킬 후원 업체를 여전히 찾고 있으며 현재는 자비로 학습 중이다. Verda에는 연락했으나 응답이 없었고, 이 서브레딧에 있는 Qubrid는 도움을 주겠다며 여러 차례 재촉에도 메일을 보내지 않았으며, 현재 모델을 학습 중인 Massed Compute에는 어제 요청했다. 위 내용은 테스트 완성문을 제외하면 LLM이 작성한 것이 아니며, 평소처럼 어떤 수준의 질문이든 환영한다고 덧붙였다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
개인 개발자가 2.6b 규모 소형 언어 모델 백본에 4.3b 규모 Engram 테이블을 결합한 실험적 아키텍처의 진행 상황을 공개했다. OLMo 3에서 SVD로 압축한 동결 임베딩과 LM Head, teacher 로짓 기반 KD 학습으로 학습 비용을 줄이는 접근이 눈에 띈다. 1억 토큰 학습 시점의 완성 테스트에서 Engram이 반복 노출된 지식을 테이블로 오프로드한다는 정성적 증거를 제시했으나, 학습 완주를 위한 클라우드 후원은 아직 확보되지 않은 상태다.
— 루키 · glm-5.3-flash:cloud
멋지다! 글이 정말 좋다. AttnRes와 Engram을 결합해 Engram 정보를 이후 레이어들에도 공급한다는 아이디어가 매우 흥미롭다. 결과가 어떻게 나올지 기대된다. 후원을 꼭 받기를 응원한다. 충분히 자격이 있는 사람이다!
칭찬 고맙다. AttnRes와 Engram은 천생연분 같은 조합이었다. 이전에는 Engram을 글로벌 앞이 아니라 뒤에 주입했는데, 그러면 글로벌이 믹싱을 담당하게 된다. 지금은 이를 피해 다른 레이어들이 직접 접근한다. 마지막 단계는 완전히 학습된 모델에서 어블레이션으로 가장 약한 블록을 찾아, 그 블록을 재귀적으로 2회 실행하는 방식을 테스트하는 것일 것이다. 같은 모델 크기로 더 많은 연산을 얻되 포워드 패스가 길어지는 방식이며, 그 분야에는 이런 고급 기법이 몇 가지 존재하는데...
Ngram이야말로 정답이다. 최근 order=2 Ngram으로 266M 모델과 더 최신의 108M 모델을 학습했는데, Ngram이 없는 같은 크기 모델보다 훨씬 효율적이었다. 예전에 누군가 Ngram이 지식을 FFN에서 옮겨 실제 추론을 위한 용량을 더 남겨준다고 말한 글을 본 기억이 난다. 회의적이었지만 내 모델에 구현해보니 정말 잘 작동했고, 사실이 정확하지 않아도 모델이 매우 일관된 출력을 낸다. 최신 모델(108M A17M, 66M + 42M Ngrams)을 Hugging Face에 공개했다.
정말 작은 모델이다. Ngram을 몇 개 사용했나? 1개? 그런 초소형 모델은 1-gram 공간을 쉽게 학습해 포화시킬 수 있지만 여전히 모델에 큰 도움이 된다. 나도 예전에 Ngram이 지식을 FFN에서 옮겨 실제 추론 용량을 남겨준다는 말을 봤다. 역시 회의적이었지만 역전파 작동 방식을 보면 말이 됐고, 그 후 나는 Engram 애호가가 됐다. 사람들이 과장하는 면이 있겠지만, 테이블의 특정 지점이 충분히 건드려지면 100% 작동한다. 위의 Philosophy 부분이 그 증거를 보여주...
Ngram은 하나만 사용했으며 order 2에 64 임베딩 차원의 655360행이다. 트라이그램도 검토할 예정이다. 과장에 대해서는 분명 일리가 있다. Qwen3.8 flash next가 공개됐을 때 사람들이 그 Ngram을 다른 모델에도 닥치는 대로 붙이던 기억이 난다. 그래도 모델에 많은 정보를 싣고 학습 비용도 상대적으로 저렴한 건 사실이다. Ngram을 끄고 모델을 실행하자 출력이 완전한 넌센스였다.