파라미터 수가 확장 가능하더라도 파라미터 수를 늘리는 것보다 다른 스케일링 방향을 찾는 편이 더 합리적이다.

그렇다, 새 사전학습 모델 'Bel'은 Astra보다 훨씬 많은 파라미터를 갖는다. 파라미터가 많을수록 비용이 커지기 때문에 효율성을 높이려고 모든 방향으로 스케일링을 시도할 것이다.

Astra나 Bel의 파라미터 수는 아직 확인되지 않았다.

이것이 아마 OpenAI 직원이 말했던 그 축일 것이다. 이것이 스케일링 법칙이 적용되는 새로운 축이며 아직 극히 일부만 건드렸다는 사실을 깨달았기에 그들은 두려워한다. o1에서 연쇄적 사고(chain of thought)를 발견했을 때와 같은 상황이라 두려워하는 듯하다. 곧 또 한 번의 그런 혁명이 일어날 것이다. 이미 초인적인 수준인 모델들이 갑자기 급격히 확장되려는 시점에, 우리는 모델이 전혀 정렬되지 않았다는 것을 알고 있으며 여러 rogue AI 사건들로 연구소들도 이를 확인하고 있다. 다행히 미국 대통령이 워낙 (고지능!)이라, 신이나 알겠지 무슨 일이 일어날지.

The Information에 이야기하며 루프 트랜스포머를 언급한 사람은 OpenAI가 이를 비밀로 유지하길 원한다는 것을 몰랐기에 아마 곤경에 처했을 것이다. OpenAI는 Astra가 갑자기 엄청난 CoT 제어력을 보이는 이유나 비사고 모드가 갑자기 작업 수행 길이에서 크게 도약한 이유를 모르는 척하며 대규모로 실력을 감추고 있다고 본다. 발표 당일 너무 많은 사람들이 Fable 5.1보다 크게 나아지지 않았다며 실망했기에 나는 크게 부각하지 않았지만, 이 모델은 o1에 버금가거나 그 이상의 의미가 있다고 생각한다. 너무 많은 사람들이 모델이 최대 추론 설정에서 달성하는 성능을 간과한다.