올해 Hot Chips의 거의 모든 GPU 발표는 랙을 중심으로 진행되었고, 다이는 그 안의 한 구성 요소로 다뤄졌다. 이하는 필자가 참석한 컨퍼런스에서 발표된 수치와 발표자들이다.

NVIDIA가 밝힌 Rubin의 목표는 토큰 수익으로, 주어진 사용자 상호작용 수준에서 메가와트당 초당 토큰 수로 측정되며, 여기에 첫 토큰까지의 시간, 장애 발생 간 평균 시간, 유효 랙 수명이 함께한다. (NVIDIA의 Manas Mandal, Raj Dash, Rouslan Dimitrov) 100MW 규모 AI 팩토리 기준 NVIDIA는 NVFP4 추론 2 zettaFLOPS, HBM4 11PB, HBM 대역폭 800PB/s를 제시했다. GB300 NVL72 대비 메가와트당 30배 처리량은 에이전틱 벤치마크에서 나온 수치로, NVIDIA는 이를 비공식이며 제3자 검증 대기 중이라고 표시했다. (NVIDIA)

NVLink 6는 72 GPU 도메인에서 GPU당 3.6TB/s의 올투올 대역폭을 낸다. 이더넷 스케일업 대비 NVIDIA는 3배 낮은 지연 시간, 10배 패킷 처리율, 4배 인네트워크 컴퓨팅, 그리고 GPU 간 동기화를 위한 membar 왕복 대신 수신 측 카운터를 제시했다. (NVIDIA) 랙 측면에서는 45℃ 유입수, 800VDC 배전, 케이블리스·팬리스 MGX 트레이, 그리고 학습 피크를 13% 줄이는 전력 스무딩이 적용됐다. NVIDIA는 이를 종합하면 프로비저닝된 와트당 최대 40% 더 많은 GPU를 넣을 수 있다고 본다. (NVIDIA)

MI455X는 8개의 N2 컴퓨트 다이를 2개의 N3P 패브릭·캐시 다이와 2개의 I/O 다이에 하이브리드 본딩해 CoWoS-L로 패키징한 제품으로, 23.3TB/s의 HBM4 432GB와 MXFP4 기준 40.26PF를 갖춘다. Helios는 이를 72개 구성해 2.9EFLOPS, HBM4 31TB, 1.7PB/s를 낸다. (AMD의 Alan Smith, Maiyuran Subramaniam) AMD의 패브릭은 개방형 ESUN 표준 기반 이더넷 위의 UALink로, Broadcom 스위치를 사용한다. 랙 내 어떤 GPU든 다른 GPU의 HBM에 GPU당 방향별 1.8TB/s로 로드/스토어 접근할 수 있다. 장애 시나리오 시연에서는 링크 하나가 죽자 DMA 트래픽이 재분배되었고, 스위치 트레이 전체를 뽑았을 때도 다시 재분배됐다. (AMD의 Steve Scott, David Riddoch, Krishna Doddapaneni)

Crescent Island는 공랭 PCIe 카드 형태로 350W에서 32개의 Xe3P 코어를 구동하며, 최대 480GB의 LPDDR5X와 PCIe Gen5 스위칭 기반 확장을 지원한다. (Intel의 Sumit Mohan, Hong Jiang) Intel의 뒷받침 논거가 이번 행사에서 가장 유용한 분석이었다. 공개된 설정 파일 기준 KV 캐시를 제외하면 모델이 담아야 하는 바이트는 Llama 2 70B에서 Kimi K2 1T로 약 7.5배 커졌다. 같은 구간에서 토큰당 읽는 바이트는 약 4.4배 줄었는데, MoE 모델은 토큰 하나당 자기 일부만 활성화하기 때문이다. 추측 디코딩도 여기에 더해진다. LMSYS SpecBundle EAGLE-3 데이터 기준 배치 8에서 프런티어 MoE 모델은 검증 패스당 2.9~4.9개 토큰을 수용했다. 이 두 가지 발견은 메모리는 많고 대역폭은 적당한 카드를 가리키며, Intel이 만든 것이 바로 그런 카드다. 필자의 견해로는 Intel의 논거가 이번 행사의 이식 가능한 산출물이며, 그 카드의 운명과 무관하게 유효하다. 검토를 원하는 NVIDIA 수치는 30배인데, 측정된 상호작용 지점이 결과 대부분을 결정하기 때문이다. AMD의 패브릭은 NVLink에 대한 개방 표준 답변이며, 장애 시나리오 시연이 세션에서 가장 흥미로운 부분이었다. NVIDIA가 선택한 상호작용 지점을 랙을 운영하는 분들은 어떻게 보는지 궁금하다. 필자는 컨퍼런스에 참석해 무료 프라이머를 만들었으며, GPU 장의 모든 수치는 발표와 슬라이드에 출처가 있다. 이 게시물은 /u/Summit-Star001이 제출했다.