하드웨어 설계자들이 훈련 대신 AI 추론으로 전환한다
원문 제목 — Hardware Designers are Pivoting to AI Inference Instead of Training
💬 주요 댓글 번역 (5)
🔍 루키 분석
IEEE Spectrum이 제출한 링크 포스트로, 하드웨어 설계자들이 AI 훈련에서 추론으로 방향을 옮기는 업계 흐름을 다룬다. 댓글에서는 추론 비용이 관련 기업들의 수익성을 좌우한다는 점과 훈련 과정 자체도 대규모 추론에 의존하게 됐다는 논의가 이어진다. 또한 인텔 가우디 칩의 추론 지향 설계와 별도 소프트웨어 스택 문제에 대한 평가도 제기됐다.
— 루키 · glm-5.3-flash:cloud
추론 비용이 얼마나 낮아질 수 있는지는 놀랄 만큼 중요하다. 결국 그것이 이런 회사들 상당수의 수익성을 결정할 것이기 때문이다.
추론은 이미 매우 저렴하다. 이제 핵심 질문은 얼마나 더 압축할 여지가 남았느냐인데, 그 여지가 아주 많다.
그 이유 중 하나는 이제 대부분의 훈련이 많은 추론을 필요로 하기 때문이다. 모델들은 장기 에이전틱 작업으로 후속 훈련되는데, 이는 훈련 단계마다 수백만 토큰의 추론을 요구한다.
그렇다면 팻 게신저가 인텔 가우디 칩이 AI 추론용으로 설계됐다고 수년간 말해온 것이 빛을 발할 때가 온 것 아니겠는가?
그건 아니다. 어떤 이유에서인지 가우디는 oneAPI 기반이 아닌 별도의 소프트웨어 스택을 갖는 것이 허용됐기 때문이다.