며칠 전 9b 모델에 관한 글을 올린 적이 있다. 진짜 문제는 두 가지였다. 누군가는 모든 것을 증명하기에는 크기가 너무 크다고 지적했는데, 이는 타당한 주장이다. 다만 나는 모델의 깊이가 필요했다. 두 번째 문제는 이런 모델들의 '능력'과 자금이 있는 연구소들이 여전히 이런 모델들을 만들고 있다는 사실이다. 내 생각에 실질적인 쓸모는 없다. 2b 모델이라면 흥미로울 수 있다. 챗봇을 원한다면 이것이 그 대답일 수 있다. 게다가 모델의 핵심에 들어 있던 Llama 라이선스는 매우 문제가 많아 버려야 했다. 제약이 너무 심해 Apache 2.0으로는 아무것도 배포할 수 없었다. 그래서 OLMo 토크나이저로 옮겼고, 작은 2b 모델을 만들 수 있도록 d_model을 2048로 줄였다. 1/2/3그램을 포함한 어휘 크기 때문에 Engram 테이블이 온전히 1b가 된다. DS가 제안한 약 10~20%가 아니라 50% 수준이다. 즉 기본적으로 2b 모델 + 1b Engram인 셈이다. 이 모델은 2048 d_model로 확보된 깊이 덕분에 밀집 모델에서 어텐션 기반 잔차 스트림(Moonshot Kimi K3 스타일)을 활용하도록 총 40개의 SWA/Global 블록을 넣을 수 있었다.

데이터는 초기 학습에서 표준 위키 스타일 데이터 소스에서 가져왔다. 이 데이터는 7b OLMo 모델에 통과시켜 확률을 생성하며, 이를 통해 모델은 다음 토큰이 32개 서로 다른 토큰에 대한 확률임을 학습한다. 가장 큰 놀라움은 결과였다. 단 15m 토큰만 학습했을 뿐인데도 모델은 놀랍도록 일관된 출력을 보여준다. 순수한 원-핫 크로스 엔트로피를 썼다면 15m 토큰으로는 아무것도 되지 않고 넌센스만 나왔을 것이다. 하지만 나는 임베딩과 5k에서 2048 d_model로 다운 프로젝션된 LM_head를 빌려왔다. 스펙트럼 분석을 해보면 '큰' 모델이 임베딩에 담고 있던 데이터의 약 65%가 보존된다. 학습은 15m 토큰으로 제한되어 있어 로마 전쟁사 등 해당 토큰 하위 집합에 존재하는 내용을 되는 대로 지껄이는 수준이다. 그럼에도 토큰을 계속 반복하는 전형적인 초기 모델 단계에는 빠지지 않는다. 일반적으로 15m 사전학습이 처음에 내놓는 결과가 바로 그것이다.

어쨌든 이 글은 이런 것에 관심 있는 사람들을 위한 업데이트이자 진행 상황 보고다. HuggingFace의 Wikipedia 청크 전체를 아직 처리하는 중이며 학습을 진행하고 있다. 시간은 걸릴 것이다. 여기까지 읽었다면 고맙고, 질문이 있으면 기꺼이 답하겠다. 이전에 누군가는 나를 ML을 이해하지 못하는 괴짜라고 지적한 적 있다. 나는 약 20년 전 ML을 시작했고, 'Constitutional' 논문이 나오기 전 Anthropic에서 원조 Opus 4 모델을 레드팀으로 검증하는 짧은(6개월) 기간을 보냈다. 그 논문에는 '레드팀원'으로 어렴풋이 언급되어 있다고 한다. 이 작업은 대체로 좋아서 하는 것이며, Apache 2.0 모델을 만든다면 적어도 사람들이 가지고 놀 수 있기를 바랐다고 밝힌다.

24GB VRAM에서 100% 학습 가능한 것으로 보인다. 학습 코드/모델/데이터는 추후 공개될 예정이며, 현재는 HF와 Github에 올라 있다. 이전 게시물은 여기에 있다. 이 글은 NineThreeTilNow가 게시했다.