20T 토큰을 768개 B300 클러스터로 4주 동안 학습했다. GPU당 시간당 8달러로 가정하면 78B MoE 모델의 학습 비용은 약 400만 달러다. 지난 2년간 학습 비용이 얼마나 떨어졌는지 생각하면 놀랍다.

양질의 데이터 20T를 수집하고 처리하는 데에는 여기에 수백만 달러가 더 들 것이다.

요즘 HF에서 잘 필터링되고 정제된 데이터셋이 얼마나 많이 공개되어 있는지 알면 놀랄 것이다. 틀린 말은 아니지만, 원조 ChatGPT가 데이터 필터링과 라벨링, 학습에 수십억 달러가 들었다는 사실은 여전히 놀랍다. 여기에 400만~500만 달러를 더해도 총 1,000만 달러 미만이다. 이는 대부분 서구권 대기업이나 대학, 연구기관이 충분히 감당할 수 있는 수준이다. 공개 학습 데이터셋이 늘고 연산 비용이 싸지면서 앞으로 더 저렴해질 것이고, 내년에는 같은 모델을 학습하는 비용이 절반으로 줄어도 놀랍지 않을 것이다.

비용 폭락은 ML에서 가장 예측 가능한 부분이 아니었나? 비용이 동전 수준까지 떨어지지 않은 ML 워크플로는 기억나지 않는다.