이것이 프로젝트 페이지다. 매우 작은 모델에서 수행된 실험이며 확장되는지 여부는 불분명하다.

이들이 신뢰할 만한 사람들인가? 들어본 적이 없다.

그렇다! Meta, ValsAI, Sakana 출신 인물들을 포함해 재능 있고 저명한 기여자 다수가 참여한 커뮤니티 프로젝트였다.

ML 엔지니어로서 한 가지 말하자면, 활성값을 이런 식으로 교란해 그래디언트를 추정할 수 있다는 사실은 몰랐다. 수학은 낯설었지만 정말 멋지다! 신호 귀속에 관심이 많은데 사물을 보는 새롭고 좋은 관점이었다. 물론 표본이 작지만 저자들도 경사하강법보다 효율적이거나 확장된다고 주장하지는 않는다. 새로운 개선과 통찰로 이어질 수 있는 멋진 연구다!

알아둘 점은 4,000배라는 수치가 자체 최초 역전파 없는 실행(1.76시간)과 비교한 것으로, 3,770만 파라미터 GPT에서 검증 손실 4.2에 도달하는 시간으로 측정됐다는 것이다. 3.676은 Adam을 쓴 역전파(3.769)를 앞서지만, 같은 옵티마이저를 쓴 역전파가 여전히 앞선다고 프로젝트 페이지에 명시돼 있다. 그래도 역방향 패스 없이 이 정도 성능이면 매우 인상적이다. 다만 지속 학습 논점은 성립하지 않는다. 결국 그래디언트 추정치가 일반 옵티마이저에 입력되는 것이며, 망각은 새 업데이트가 기존 업데이트 내용을 덮어쓰면서 발생하므로 그래디언트를 얼마나 저렴하게 얻었는지와 무관하게 일어난다.