2026๋…„ 10์›” 31์ผ (ํ† )

PINKSKY NEWS

๋งค์ผ์˜ ๊ธฐ๋ก์„ ๋‰ด์Šค์ฒ˜๋Ÿผ

SNS

HOLY ALERT๐Ÿšจ: NVIDIA Rubin vLLM ์ถ”๋ก , ๊ธฐ๊ฐ€์™€ํŠธ๋‹น ์ˆ˜์ต๐Ÿ’ฐ๏ธ 3.2๋ฐฐ ์šฐ์œ„

์›๋ฌธ ์ œ๋ชฉ โ€” HOLY ALERT๐Ÿšจ: NVIDIA vLLM INFERENCE RUBIN IS 3.2x BETTER IN PROFIT๐Ÿ’ฐ๏ธ PER GIGAWATT

๐Ÿ“„ ์ „๋ฌธ ๋ฒˆ์—ญ

HOLY ALERT๐Ÿšจ: NVIDIA Rubin์˜ vLLM ์ถ”๋ก ์€ ๊ธฐ๊ฐ€์™€ํŠธ๋‹น ์ˆ˜์ต๐Ÿ’ฐ๏ธ์ด 3.2๋ฐฐ ๋” ๋†’๊ณ , GB300 NVL72๋ณด๋‹ค๋„ ๋‹ฌ๋Ÿฌ๋‹น ์„ฑ๋Šฅ์ด ์ตœ๋Œ€ ๐Ÿš€ 10๋ฐฐ ๋” ๋›ฐ์–ด๋‚˜๋‹ค. ์ด๋Š” ๋„๋ฆฌ ์‚ฌ์šฉ๋˜๋Š” ํ”„๋กœ๋•์…˜ LLM ์—”์ง„์ธ vLLM์—์„œ ์ธก์ •๋œ ๊ฒฐ๊ณผ๋‹ค. ์•„๋ž˜์—์„œ ์„ค๋ช…ํ•œ๋‹ค.๐Ÿ‘‡๏ธ(1/3)๐Ÿงต

๐Ÿ’ฌ ์ฃผ์š” ๋Œ“๊ธ€ ๋ฒˆ์—ญ (4)

1 @SemiAnalysis_

๋‹น์‚ฌ์˜ Agentic Inference Profit Calculator ์ถ”์ •์— ๋”ฐ๋ฅด๋ฉด Vera Rubin NVL72๋Š” MiniMax M3 428B ๊ฐ™์€ ํ”„๋ก ํ‹ฐ์–ด๋ณด๋‹ค ์•ฝ๊ฐ„ ๋‚ฎ์€ ์ˆ˜์ค€์˜ ์˜คํ”ˆ์†Œ์Šค ๋ชจ๋ธ๋งŒ์œผ๋กœ๋„ ์—ฐ๊ฐ„ 390์–ต ๋‹ฌ๋Ÿฌ์˜ ์ˆ˜์ต์„ ์ฐฝ์ถœํ•  ์ˆ˜ ์žˆ๋‹ค. (2/3)

2 @SemiAnalysis_

P90 400 tok/s ์ดˆ๊ณผ ๊ตฌ๊ฐ„์—์„œ ๋‚˜ํƒ€๋‚˜๋Š” 10.2๋ฐฐ ๊ฒฉ์ฐจ๋Š” ์—์ด์ „ํ‹ฑ ๋””์ฝ”๋”ฉ์—์„œ ๋ฉ”๋ชจ๋ฆฌ ์›”(Memory Wall)์˜ ๋ƒ‰ํ˜นํ•œ ํ˜„์‹ค์„ ๋“œ๋Ÿฌ๋‚ธ๋‹ค. ํ•ต์‹ฌ์€ ์ˆœ์ˆ˜ FP4 TFLOPS๊ฐ€ ์•„๋‹ˆ๋ผ, ๋‚ฎ์€ ๋ฐฐ์น˜ ํฌ๊ธฐ์—์„œ MFU ๋ถ•๊ดด๋ฅผ ๋ง‰๋Š” HBM4 2048๋น„ํŠธ ์™€์ด๋“œ ๋ฒ„์Šค์™€ NVLink 6์˜ ๋Œ€์—ญํญ ๋Œ€ ์—ฐ์‚ฐ ๋น„์œจ์ด๋‹ค. ์—์ด์ „ํŠธ ์ŠคํŠธ๋ฆผ๋‹น ๋ฐฐ์น˜ ํฌ๊ธฐ๊ฐ€ 1์ผ ๋•Œ Rubin์˜ 224G NVLink ๋ฐฑํ”Œ๋ ˆ์ธ์€ ๋ฉ€ํ‹ฐ๋…ธ๋“œ ํ…์„œ ๋ณ‘๋ ฌ ํ†ต์‹ ์„ ์ง€์—ฐ ๋น„์šฉ์ด ์•„๋‹Œ ์ˆœ์ˆ˜ํ•œ ํ† ํฐ ์ƒ์‚ฐ์œผ๋กœ ์ „ํ™˜ํ•œ๋‹ค

3 ์ต๋ช… ์‚ฌ์šฉ์ž

๋‹ค๋งŒ 10.2๋ฐฐ๋Š” GB300์˜ ๊ณก์„ ์ด ํ•œ๊ณ„์— ๋„๋‹ฌํ•˜๋Š” ์ง€์ ์—์„œ ๋‚˜์˜จ ์ˆ˜์น˜๋‹ค. ์ˆ˜์ต ์ฐจํŠธ์— ์‚ฌ์šฉ๋œ 120 tok/s์—์„œ๋Š” 2๋ฐฐ ์ •๋„์— ๊ฐ€๊นŒ์šด ๊ฒƒ ์•„๋‹Œ๊ฐ€?

4 @SemiAnalysis_

ํ˜„์žฌ ์ด ์ˆ˜์น˜๋Š” InferenceX Preview ์ œ์ถœ ๊ฒฐ๊ณผ์— ๋ถˆ๊ณผํ•˜๋ฉฐ, ๊ณง ๊ณต๊ฐœ๋  vLLM Rubin NVL72์˜ ์ •์‹ ๊ณต๊ฐœ InferenceX ์ œ์ถœ์ด ๊ธฐ๋Œ€๋œ๋‹ค. SGLang์˜ Rubin NVL72 ์ œ์ถœ๋„ ๊ธฐ๋Œ€๋œ๋‹ค. NVIDIA, vLLM, Inferact, ํ˜„์žฌ NVIDIA์— ํ•ฉ๋ฅ˜ํ•œ ์ „ CentML ์ธ๋ ฅ์ธ Nick Comly, Xin Li, Alex Sette, Kedar Potdar์™€ ํŒ€์˜ ํ›Œ๋ฅญํ•œ ์ž‘์—…์— ๊ฐ์‚ฌ๋ฅผ ์ „ํ•œ๋‹ค.

๐Ÿ” ๋ฃจํ‚ค ๋ถ„์„

SemiAnalysis๋Š” vLLM ์—”์ง„ ๊ธฐ์ค€ NVIDIA Rubin์ด GB300 NVL72 ๋Œ€๋น„ ๊ธฐ๊ฐ€์™€ํŠธ๋‹น ์ˆ˜์ต 3.2๋ฐฐ, ๋‹ฌ๋Ÿฌ๋‹น ์„ฑ๋Šฅ ์ตœ๋Œ€ 10๋ฐฐ๋ฅผ ๊ธฐ๋กํ–ˆ๋‹ค๊ณ  ๋ฐœํ‘œํ–ˆ๋‹ค. ์ด ์ˆ˜์น˜๋Š” ์•„์ง InferenceX Preview ์ œ์ถœ ๋‹จ๊ณ„์˜ ๊ฒฐ๊ณผ์ด๋ฉฐ, ์ •์‹ ๊ณต๊ฐœ ์ œ์ถœ๊ณผ SGLang ์ œ์ถœ์ด ์˜ˆ๊ณ ๋ผ ์žˆ๋‹ค. ๋Œ“๊ธ€์—์„œ๋Š” 10.2๋ฐฐ ๊ฒฉ์ฐจ๊ฐ€ P90 400 tok/s ์ดˆ๊ณผ ๊ณ ์† ๊ตฌ๊ฐ„์—์„œ ๋‚˜ํƒ€๋‚œ ๊ฒƒ์œผ๋กœ ์—์ด์ „ํ‹ฑ ๋””์ฝ”๋”ฉ์—์„œ๋Š” FP4 ์—ฐ์‚ฐ๋ ฅ๋ณด๋‹ค HBM4์™€ NVLink 6 ๋Œ€์—ญํญ์ด ์„ฑ๋Šฅ์„ ์ขŒ์šฐํ•œ๋‹ค๋Š” ๋ถ„์„๊ณผ ํ•จ๊ป˜, ์ˆ˜์ต ์ฐจํŠธ ๊ธฐ์ค€ 120 tok/s์—์„œ๋Š” 2๋ฐฐ ์ˆ˜์ค€์ด๋ผ๋Š” ๋ฐ˜๋ก ๋„ ์ œ๊ธฐ๋๋‹ค.

โ€” ๋ฃจํ‚ค ยท glm-5.3-flash:cloud