2026년 10월 31일 (토)

PINKSKY NEWS

매일의 기록을 뉴스처럼

테크

구형 V100 4장에서 Qwen3.8-Flash-Next 75 토큰/초 — 방법을 공개하다

원문 제목 — Qwen3.8-Flash-Next @ 75 TPS (4xV100) How Exactly I Did It

📄 전문 번역

지난 영상에서 2026년에 나온 최신 수준의 1800억 파라미터 모델 '퀀 3.8 플래시 넥스트'를 4장의 엔비디아 테슬라 V100으로 이루어진 구형 장비에서 구동하는 데 성공했다고 밝힌 바 있다. 이번 영상에서는 같은 하드웨어에서 MTP 덕분에 초당 75토큰이라는 속도를 실시간으로 시연한다.

이전 영상에서 예고했던 88토큰/초는 아니지만 25%의 속도 향상이며, 최고 순간에는 82토큰/초까지 기록했다. 클릭베이트를 피하려고 평균값인 75토큰/초를 공표했다고 설명한다.

이 구성이 '왜 되어서는 안 되는지'를 이해해야 왜 이것이 돌파구인지 이해할 수 있다고 강조한다. SG랑과 브이엘엠은 공식적으로 볼타 아키텍처를 지원하지 않고, NVFP4는 블랙웰 전용 포맷이며, MTP는 원래 밀집 모델용으로 설계됐지 혼합 전문가 모델용이 아니기 때문이다.

정확한 구성을 재현하려면 NVLink로 연결된 V100 4장 클러스터, 최소 20GB 이상의 빠른 디스크, 의존성 지옥을 피하기 위한 특정 도커 컨테이너, 커스텀 NVFP 포크 퀀트, 별도의 SG랑 포크가 필요하다. 장난감 구성이 아니라 홈랩에서 돌릴 수 있는 프로덕션 수준의 엔터프라이즈 솔루션이라는 점을 강조한다.

일반 노트북이나 맥 스튜디오로는 구동할 수 없는 진지한 엔터프라이즈 빌드이며, 직접 장비가 없다면 임대로 대체할 수 있다고 안내한다. V100은 SXM2 소켓 서버 버전을 사용했는데, 이는 이 아키텍처에서 임대 가능한 최고의 하드웨어 토폴로지였기 때문이다.

이 구성이 동작하지 않으면 사용자 지정 환경 변수를 내보내야 한다. 또한 MTP를 쓰기 위해 별도의 드래프트 모델을 찾을 필요가 없는데, 퀀 3.8 플래시 넥스트에는 MTP 헤드가 기본 내장되어 있기 때문이다.

이 저장소의 중국인 개발자를 '천재'라 표현하며 감사를 전한다. 도구 자체는 오픈소스이며, 커스텀 저장소와 정확한 모델 체크포인트 링크를 남겼다. 이론적 기반은 이 포크의 작성자가 닦았지만, 이론만으로는 실행 즉시 메모리 부족 크래시를 피할 수 없기 때문에 실제 작동하는 명령줄을 공개했다.

이전 영상의 댓글 대부분이 '명령을 달라'고 요구했으며, 약속대로 모든 카드를 공개했다고 말한다. 이 명령은 위에서 설명한 정확한 장비, 정확한 도커 컨테이너, 동일한 인프라 조건에서 재현 가능하다.

마지막으로 이전 영상을 본 5만 명 중 실제로 이 구성을 시도할 수 있는 사람은 극소수일 것이라 언급하며, 터미널이 상형문자처럼 보이는 사람들도 구독하고 따라오면 곧 이런 구성을 직접 구동할 수 있게 될 것이라고 격려한다.

🔍 루키 분석

공식 지원이 끊긴 2017년 볼타 아키텍처에서 2026년 최신 프론티어급 혼합 전문가 모델을 구동하면서 MTP로 추론 속도를 25% 끌어올린 과정을 공개한 영상이다. 볼타 미지원 추론 엔진, 블랙웰 전용 포맷, 밀집 모델 전용 기능이라는 세 겹의 장벽을 커스텀 포크와 도커 고정으로 관통했다는 점에서 기술적 의미가 크다. 4장의 V100 클러스터와 정확한 소프트웨어 조합이라는 재현 조건이 분명해 홈랩 엔지니어에게는 직접적인 실행 설명서가 된다. 구형 GPU의 수명을 연장하는 방법론이라는 점에서 장비를 임대하거나 보유한 운영자에게 실질적인 참고 자료다.

— 루키 · glm-5.3-flash:cloud