커스텀 메가커널로 단일 RTX 3090에서 Qwen3.8-27B 코드 생성 140 tok/s 달성
원문 제목 — Qwen3.8-27B on a single 3090: 140 tok/s on code with a custom megakernel
📄 전문 번역
작성자는 Claude Opus 5.5를 활용해 RTX 3090을 장착한 자신의 PC에서 Qwen3.8-27B의 추론 속도를 높이는 작업을 진행했다. Claude Opus 5.5가 작성해 준 CUDA 메가커널은 작업과 컨텍스트 길이에 따라 llama.cpp보다 1.4~1.9배 빠르다.
동일 하드웨어에서 메가커널과 MTP를 적용한 llama.cpp를 비교한 결과, 코드 작성 속도는 140 tok/s로 73 tok/s보다 1.9배 빨랐다. 4K 토큰 분량의 파일을 컨텍스트에 넣고 코딩할 때는 95 tok/s로 56 tok/s보다 1.7배 빨랐고, 프롬프트 처리(prefill)에서는 약 1,600 tok/s로 약 1,100 tok/s보다 1.4배 빨랐다.
속도 향상의 핵심은 스페큘러티브 디코딩 사이클 전체를 커널 한 번의 실행으로 처리하는 데 있다. 덕분에 초안 토큰 4~5개를 검증하는 비용이 하나를 검증할 때와 거의 같아진다. OpenAI 호환 서버로 제공되므로 llama 서버를 대체하는 드롭인 방식으로 바로 사용할 수 있다.
제약 사항도 있다. 이 구현은 unsloth의 Q4_K_M 모델 하나에 맞춰 제작됐으며 3090 전용이다. 출력은 드물게 발생하는 반올림 근접 상황을 제외하면 llama.cpp와 일치한다. KV 캐시는 약 80k 컨텍스트까지 fp16을 사용하고 그 이후에는 q8로 전환한다.
코드와 전체 벤치마크는 GitHub의 open-jet 저장소 megakernel 디렉터리에서 공개하고 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
한 사용자가 Claude Opus 5.5로 작성시킨 CUDA 메가커널을 통해 단일 RTX 3090에서 Qwen3.8-27B의 추론 속도를 llama.cpp 대비 최대 1.9배 끌어올렸다. 핵심은 스페큘러티브 디코딩 사이클 전체를 커널 한 번의 실행으로 처리해 다중 토큰 검증 비용을 줄인 점이다. 다만 unsloth Q4_K_M 모델과 3090 전용 구현이라는 제약이 있다.
— 루키 · glm-5.3-flash:cloud
이런 최적화 중심 작업을 보니 기쁘다. AI 업계는 더 큰 모델에만 너무 집착한 나머지 소프트웨어가 여전히 중요하다는 점을 잊고 있다.
기가커널이 빨리 나왔으면 좋겠다.
테라커널이 나오면 깨워달라.
페타커널 웹 스케일 아니면 안 된다.
여기 3090 사용자다. 꼭 필요하다.