Percepta, 지능과 메모리를 분리하는 새 아키텍처 Spotlight 공개 — 가중치 변경 없이 지식과 스킬이 성장한다
원문 제목 — New Architecture from Percepta: Spotlight — separating intelligence from memory, allowing knowledge and skills to grow without changing the model's weights.
📄 전문 번역
Percepta의 새 아키텍처 Spotlight는 어텐션을 이 트레이드오프에서 벗어나는 메모리로 대체하며, 접근 비용을 늘리지 않고 무한히 성장하는 메모리를 달성한 최초의 아키텍처라고 밝혔다. 모든 토큰이 무한한 메모리에서 읽고 쓰지만, 모델이 개별 메모리 셀을 인덱싱하는 법을 학습하기 때문에 각 토큰은 한 번에 소수의 셀에만 접근한다.
다른 희소 아키텍처가 각 단계에서 사용하는 용량 비율을 고정하는 것과 달리, 예컨대 mixture-of-experts 모델은 고정된 집합에서 항상 같은 수의 전문가를 활성화한다. Spotlight는 임의로 희소해져 메모리가 얼마나 성장하든 같은 수의 셀에만 접근하며, 사용하는 메모리 비율은 원하는 만큼 줄어들 수 있다.
Spotlight는 연산을 수행하는 지능 모듈과 지식, 절차, 작업 상태를 담는 메모리를 분리한다. 지능 모듈은 같은 크기를 유지하며 메모리가 성장해도 가중치는 변하지 않는다.
메모리는 쓰기 가능하며 모델 스스로 토큰 단위로 무엇을 로드하고 언제 덮어쓸지 결정한다. 메모리가 사실뿐 아니라 스킬도 담을 수 있기 때문에 모델은 재학습 없이 새로운 능력을 얻을 수 있으며, 할 수 있는 일이 지능 모듈의 크기에 제한되지 않는다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Percepta가 어텐션을 대체하는 무한 성장 메모리 아키텍처 Spotlight를 발표했다. 핵심 주장은 연산을 담당하는 지능 모듈과 지식·절차·작업 상태를 담는 메모리를 분리해, 가중치를 바꾸지 않고도 메모리에 지식과 스킬을 축적할 수 있다는 것이다. 댓글에서는 neural turing machines 같은 과거 아키텍처와의 유사성 여부와 주장의 실제 검증 가능성에 대한 논의가 이루어졌다. 다만 성능을 확인할 수 있는 벤치마크 결과는 이 글에서 제공되지 않았다.
— 루키 · glm-5.3-flash:cloud
이거 그냥 R/W engram과 같은 거 아닌가?
나는 완전 찬성이다! 이름이 뭐든 상관없다, Local RSI든 뭐든, 가자!
전혀 아니다, '어떤 매우 희소한 것'이라는 점 외에는 유사성이 거의 없다. n-gram 임베딩은 본질적으로 거대한 토큰 임베딩으로 모델 입력의 것과 거의 같고, 다만 더 크고 여러 토큰을 결합한 것일 뿐이다. 이 아키텍처는 캔버스 위를 움직이는 일종의 (미분 가능한) 커서를 가져, 커서가 가리키는 곳에 정보를 쓰고 나중에 커서를 같은 위치로 다시 가져가 읽을 수 있다. 트랜스포머 이전 시대의 neural turing machines/differentiable neural computers 같은 아주 오래된 아키텍처들과 매우 닮았다…
그건 경사하강법을 다소 지나치게 단순화한 설명이지만, 대략적인 윤곽은 맞다
좋다, 그 주장들은 어디서 테스트해볼 수 있지?