글쓴이는 약 9B, 정확히는 9.4B 파라미터 규모의 완성된 모델을 보유하고 있으며 학습할 준비가 됐다고 밝힌다. 이 모델에는 1/2/3 Engram 테이블, Moonshot의 AttnRes 모델링, 주요 연구소들이 대체로 검증한 3:1 비율의 RoPE/NoPE 레이어링이 포함된다. 초기 출발점으로 Llama 3 시리즈 토크나이저와 LM Head를 사용했고, 투입 데이터는 Llama 3 교사 모델에서 로짓 수준으로 추출한 것이다. 모델 안정성 등을 확인하는 첫 학습 단계는 이미 실행했다.

글쓴이는 모델의 사전 IT(pre-IT) 학습을 직접 수행할 의사가 있다. 사람들이 이 모델로 어떤 작업을 하고 싶어할지 정확히 알 수 없어 IT 학습의 초점은 개방형 표준 중 하나에 따라 'Thinking'을 부여하는 정도로 다소 막연하다. 용도가 무엇이든 사용하기만 한다면 상관없으며, LocalLlama는 모델을 쉽게 내어줄 수 있는 곳이라 판단했다. 충분한 학습을 거치면 이론상 기존의 어떤 ~9B 모델보다도 뛰어난 성능을 낼 것으로 보지만, 자신은 연구소가 아니라 학습 예산이 없어 데이터 생산 등 모든 작업을 RTX 4090과 임대 하드웨어로 수행했다고 설명한다. 학습 코드는 RTX 6000 Pro 시리즈 카드 한 장에서 구동되도록 깊이 최적화돼 있다.

Engram 연구는 Qwen 모델 공개 이전부터 진행해 왔으며, Qwen은 테이블 2개 대신 1개만 레이어에 주입하면 충분하다는 점을 보여줬다. 1개가 2개 대비 대부분의 이점을 제공했다. 코드와 데이터 전부가 공개될 예정이며, 기술적으로는 이미 모두 공개 저장소에 있어 사실상 오픈소스 상태다. 글쓴이는 시간을 들일 가치가 있는지 고민하다가 최소한 몇백 달러를 들여 '기능적' 사전 IT 모델을 만들고 IT 데이터셋을 구축하겠다고 밝힌다. IT 세트 이전에 추가 사전학습이 필요할 것으로 보지만 이런 유형의 학습에 대한 정확한 수치를 공개하는 곳이 없어 불확실하다. 데이터센터 연락처가 있어 시스템에서 실행을 허용해 줄 이가 있다면 모두가 지켜볼 수 있는 공개 모델이 될 수 있으며, 잠정 명칭은 'Budget'이지만 LocalLlama가 원하는 이름으로 정해도 무방하다.

글쓴이는 엔드투엔드 전체를 작성하고 데이터를 생성하는 과정이 즐거웠다며, vLLM의 문제를 발견해 저장소에 보고했는데 이것이 이용자들에게도 도움이 될 수 있다고 말한다. 프롬프트 로딩 코드가 약 10배에서 100배까지 빨라질 수 있다는 예시도 함께 전달했다. 너무 많은 연구 논문을 읽고 여가가 넘치는 ML 종사자라는 감사 인사로 글을 맺는다.

이후 수정 글에서 Apache 2.0 라이선스 문제를 검토하다 Llama 토크나이저나 데이터 사용에 뚜렷한 허점이 있음을 발견했다고 밝힌다. 라이선스 제약 없이는 해당 모델들이 생성한 합성 데이터조차 사용할 수 없다는 것이다. 결국 대상을 OLMo 3 시리즈를 사용하도록 다시 작성해야 할 것으로 보며, 데이터 생성과 코드 수정을 마친 뒤 일주일 후에 돌아오겠다고 한다. 검열 없는 오픈소스 Goon 모델을 만들지 고민 중이며, 모델이 연구 결과물 이상으로 실제 쓰이려면 유용한 틈새를 찾아야 한다고 한다. 연구 결과물을 만드는 것은 확정된 사안이고 관건은 실제로 사용하려는 사용자 그룹을 찾을 수 있는지이며, 모든 것은 무료로 제공되고 코드와 데이터는 GH/HF에 있다. 글은 /u/NineThreeTilNow가 제출했다.