소비자용 공급량은 변하지 않을 것이다. 이는 데이터센터용이다.

새 모델을 계속 학습하는 데 필요한 연산량이 곧 벽에 부딪히고, 현재 방식으로 모델을 더 개선하려면 1조 달러 이상이 들 것이라는 현실이 와닿으면 웃길 것이다. 우리의 연금 계좌는 증발하겠지만, 적어도 값싼 GPU가 시장에 넘쳐나는 건 얻을 것이다.

아니, 몇 달마다 새로운 스케일링 축을 발견한다. 프런티어 모델 학습 비용이 더 올라가더라도 1T 파라미터 규모에서도 많은 진전이 계속될 것으로 기대한다.

'만약'의 문제가 결코 아니다. 업계는 한동안 패러다임을 바꾸는 어떤 돌파구를 조용히 기다려왔지만 아직 나타나지 않았다. 현재 방식은 수익 체감에 비해 사실상 지수적으로 늘어나는 비용이라는 벽에 부딪히고 있다. 무한한 돈을 쏟아부을 의향이 있더라도, 이를 뒷받침할 전력이 단순히 부족하다는 근본적인 문제가 남는다. MIT 논문에서는 이 추세가 학습을 계속 지원할 전력이 더 이상 없기 전까지 약 1년 정도만 지속될 수 있다고 밝혔다. 하지만 그런 변화는 훨씬 더 오래 걸린다.

현재 프런티어 모델이 수백 개의 고급 수학 문제를 풀 수 있다면, 커널과 학습을 더 최적화하는 연구를 지원할 수 있으리라 가정하는 것이 합리적이지 않은가?