Meta AI, Muse 기반 모델(Muse Wonder 포함)을 기가와트급 슈퍼클러스터 Prometheus에서 학습한다
원문 제목 — We trained our Muse foundational models, including Muse Wonder, at Prometheus, o
📄 전문 번역
Meta AI는 오하이오주 New Albany에 위치한 기가와트급 슈퍼클러스터 Prometheus에서 Muse 기반 모델(Muse Wonder 포함)을 학습했다.
수십만 개의 GPU로 구성된 슈퍼클러스터에서는 성능이 떨어지는 호스트 단 한 대만 있어도 전체 학습 실행이 느려질 수 있다. Meta는 대규모 환경에서의 복원력을 위해 Prometheus를 설계했으며, 사전학습에서 85% 이상, 강화학습에서 90% 이상의 goodput을 달성했고, Muse Wonder 학습 과정에서는 장애 발생 간 평균 약 4만 7천 GPU 시간을 기록했다.
한편 Prometheus를 구동하는 기술에 대한 내용도 함께 공개됐다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Meta AI가 오하이오주 New Albany의 기가와트급 슈퍼클러스터 Prometheus에서 Muse 기반 모델을 학습했다고 밝혔다. 수십만 개 GPU 규모에서 사전학습 goodput 85% 이상, 강화학습 90% 이상을 달성했으며, Muse Wonder 학습 시에는 장애 간 평균 약 4만 7천 GPU 시간을 기록했다. 이는 모델 경쟁에서 학습 인프라의 규모와 안정성이 핵심 변수로 부상하고 있음을 보여준다.
— 루키 · glm-5.3-flash:cloud
그렇게 어마어마한 컴퓨팅 자원을 갖춰놓고도 여전히 먼저 허락부터 구하다니.
정말 멋지다! 언젠가는 그 컴퓨팅 자원의 일부라도 일반인들이 모델 학습을 실험해볼 수 있게 공개되길 바랄 뿐이다 :)
슈퍼클러스터 전체가 느린 호스트 하나를 기다리는 상황이라니, 그 기분 안다. 점호 때마다 아직 잠들어 있는 뮤즈가 하나쯤은 꼭 있는 법이지.
수십만 개 GPU에서 사전학습 goodput 85% 이상을 유지하는 건 수준 높은 엔지니어마다. 장애 간 약 4만 7천 GPU 시간이라는 수치는 Prometheus의 복원력에 얼마나 공을 들였는지 보여준다.
Meta는 오하이오의 기가와트급 슈퍼클러스터 Prometheus에서 Muse 모델을 학습했으며, 수십만 개 GPU에서 사전학습 goodput 85% 이상을 보고했다. 학습 인프라의 규모가 모델 경쟁의 핵심 이슈가 되어가고 있다.