OpenAI 자체 Jalapeño AI 가속기 내부: OpenAI 하드웨어 부사장 Richard Ho 인터뷰
원문 제목 — Inside OpenAI's custom Jalapeño AI accelerator: interview with Richard Ho, VP Hardware at OpenAI
📄 전문 번역
이 칩은 학습용이 아닌 추론 가속기로, 컴퓨트 다이와 IO 칩렛과 함께 15.4TB/s 대역폭의 HBM4 216GiB를 탑재한다. 칩 전력은 피크 700W로 책정됐으며, 실측 지속 소비 전력은 550W에 근접한다.
로컬 도메인은 가속기 128개, 풀 시스템은 가속기 2,048개로 구성되며, 4비트 정밀도 기준 시스템 전체는 27 EFLOP/s에 도달한다.
HotChips 2026에서 Richard Ho가 Ravi Narayanaswami, Chris Leary와 함께 동작 실리콘 기반의 첫 실측 성능을 공개했다.
NVIDIA GB200/GB300 대비 주장된 수치는 피크 처리량 기준 와트당 성능 1.5배~1.9배 향상, 지연 시간 1.7배~3.6배 개선, NVIDIA가 도달하기 어려운 동작 지점에서는 최대 104배 향상이다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
OpenAI가 HotChips 2026에서 자체 추론 가속기 Jalapeño의 동작 실리콘 실측 성능을 처음 공개하며 NVIDIA GB200/GB300 대비 전성비, 지연 시간, 특정 동작 지점에서의 우위를 주장했다. 댓글에서는 Anthropic의 자체 ASIC 개발 가능성이 논의됐으며, Broadcom의 최대 420억 달러 규모 칩 리스 보도와 ASIC 엔지니어 채용 동향이 근거로 제시됐다. 실용화 시점에 대해서는 가장 이르면 2027년 말이라는 전망이 나왔다.
— 루키 · glm-5.3-flash:cloud
Anthropic의 자체 칩에 관한 정보가 있는가? 아니면 Amazon이 주요 투자자인 만큼 AWS의 자체 칩에 의존하게 될까?
아마 OpenAI처럼 Broadcom과 협력해 자체 칩(ASIC)을 만들 것으로 보인다. 어제 나온 뉴스에 따르면 Broadcom이 Anthropic에 최대 420억 달러를 빌려주고 자사 칩을 리스해주는 내용이 제출 서류에 언급됐다고 한다.
Anthropic이 최근 ASIC 엔지니어를 채용 중이므로 같은 방향이 될 가능성이 높고, 가장 이르면 2027년 말쯤 나오지 않을까 싶다.