RTX 3080 20GB, reBAR·P2P 언락 공개! 프롬프트 처리 속도 +70%
원문 제목 — RTX 3080 20GB got reBAR and P2P unlock! +70% prompt processing speed
📄 전문 번역
RTX 3080 20GB의 P2P가 마침내 언락되면서 텐서 병렬 모드의 프롬프트 처리 속도에서 대규모 성능 향상이 나타났다. 이번 놀라운 성과는 u/nathannguyennng의 것으로, 그는 카르마 요건 때문에 r/locallama에 직접 게시할 수 없어 게시를 허락했으며 설치 방법은 그의 원본 게시물에서 확인할 수 있다. 이하에서는 게시자 u/No-Refrigerator-1672의 테스트 결과를 소개한다.
테스트 시스템은 Proxmox Virtual Environment 9.2.21, 리눅스 커널 6.14.11-9-pve, NVIDIA 드라이버 615.71.09였고, 하드웨어는 x399 Zenith Extreme 메인보드의 Threadripper 1920x에 PCIe 3.0 x16 슬롯 두 곳에 설치된 RTX 3080 20GB 듀얼 GPU로 두 장 모두 240W로 전력이 제한됐다. 테스트 환경은 vllm 0.32.0에서 cyankiwi/Swift-1.5-Qwen3.8-27B-AWQ-INT4 모델을 MTP 활성화, FP8 KV 캐시, 텐서 병렬 구성으로 구동한 것이며, 실행 명령에는 텐서 병렬 크기 2, 프리픽스 캐싱, 6GB KV 캐시 메모리, fp8_e4m3 KV 캐시, 청크드 프리필, FLASHINFER 어텐션 백엔드, qwen3_next_mtp 방식 추측 디코딩(추론 토큰 3개) 등이 포함됐다.
세 가지 구성, 즉 1) 완전 기본 상태, 2) gpu-unlock, 3) gpu-unlock + ReBAR + P2P를 테스트했으며, 단일 스트림 프리필(프롬프트 처리) 속도는 프롬프트 길이를 첫 토큰까지의 시간(TTFT)으로 나눈 값으로 측정하고 향상폭은 기본 구성 대비 증가율로 정의했다. 프롬프트 8192 토큰에서 TTFT는 기본 8471.2ms, gpu-unlock 7012.7ms, gpu-unlock+P2P 3938.5ms였고 프리필 속도는 967.1 tok/s에서 1168.2 tok/s(21% 향상), 2080 tok/s(115% 향상)로 올라갔다. 16384 토큰에서는 932.4에서 1136.4 tok/s(22%), 1978 tok/s(112%), 32768 토큰에서는 891.6에서 1093.4 tok/s(23%), 1802.5 tok/s(102%), 65536 토큰에서는 825.1에서 1021.2 tok/s(24%), 1598 tok/s(94%), 131072 토큰에서는 713.9에서 897.7 tok/s(26%), 1307.6 tok/s(83%), 261900 토큰에서는 562.1에서 723.1 tok/s(29%), 961.6 tok/s(71%)를 기록했다. gpu-unlock과 P2P를 모두 켜면 70%에서 115% 사이의 프롬프트 처리 향상을 얻을 수 있으며, P2P만으로도 gpu-unlock 대비 최대 70%의 추가 향상이 있었다.
MTP 활성화 시 디코드(토큰 생성) 측정은 tok/s 출력 지표가 MTP 수용률에 크게 좌우되므로, 대신 추론 엔진이 두 토큰 배치를 생성하는 사이의 시간인 토큰 사이 지연(ITL)을 측정했다. MTP3에서 각 배치는 1~4개 토큰을 포함하므로 실제 토큰 출력 속도는 보고되는 스텝 속도의 1~4배다. 디코드 스텝 속도는 8192 토큰에서 기본 15.43 steps/s, gpu-unlock 16.0 steps/s(4%), gpu-unlock+P2P 15.98 steps/s(4%), 16384 토큰에서 15.89 / 15.66(-1%) / 16.72 steps/s(5%), 32768 토큰에서 16.61 / 16.12(-3%) / 15.95 steps/s(-4%), 65536 토큰에서 15.15 / 16.28(7%) / 15.42 steps/s(2%), 131072 토큰에서 15.99 / 15.51(-3%) / 16.51 steps/s(3%), 261900 토큰에서 14.98 / 16.59(11%) / 16.57 steps/s(11%)였다. 에이전틱 코딩에서 실제 MTP 수용 길이는 약 2 수준이므로 초당 15 스텝의 디코드 속도는 초당 약 45 토큰 생성에 해당한다.
디코드 결과는 261k 길이 프롬프트 테스트를 제외하면 잡음 범위 내에서 들쭉날쭉했으며, 해당 테스트에서는 P2P가 아닌 gpu-unlock이 안정적인 측정 가능한 성능을 보였다. 결론적으로 텐서 병렬 모드에서 이번 3080 20GB의 두 가지 언락은 상상을 초월하는 프롬프트 처리 속도 향상을 가져오지만 토큰 생성에는 사실상 개선이 없다. 따라서 긴 프롬프트 작업(에이전틱 코딩 포함)을 실행한다면 이 언락을 확인해볼 만하며, 두 번째 GPU와 완전한 PCIe 연결성을 갖추지 못한 시스템에서는 개선 폭이 훨씬 작을 것으로 예상된다. ReBAR와 P2P 언락의 저자 u/nathannguyennng에게 다시 한번 큰 감사를 전한다. 3080 소유자들에게는 대단한 하루다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
RTX 3080 20GB에 reBAR와 P2P 언락을 적용하자 텐서 병렬 구성에서 프롬프트 처리 속도가 70~115% 향상된 반면, 토큰 생성 속도는 잡음 범위 내에서 거의 변화가 없었다. 테스트는 Threadripper 1920x 플랫폼의 RTX 3080 20GB 듀얼 구성과 vllm 0.32.0 환경에서 진행됐다. 언락은 u/nathannguyennng가 작성했으며, 긴 프롬프트를 반복해서 처리하는 에이전틱 코딩 워크로드에서 특히 효과가 클 것으로 보인다.
— 루키 · glm-5.3-flash:cloud
공유해줘서 고맙다. 언젠가 3060과 3090에서도 이 새로운 기능들을 시도해볼 생각이다.
3060에서는 아주 잘 작동한다. 3090은 한 장만 있어서 그 경험에 대해선 단언할 수 없는데, 서브레딧에서는 엇갈린 결과가 나왔다. 개인적인 경험으로는 카드가 빠를수록 큰 향상을 보려면 PCIe 인터페이스도 빨라야 한다(사실은 지연 시간의 문제다). 또한 적어도 내 경우에는 카드를 4장 넘게 쓰면 성능이 떨어지는 경우는 드물지만 처음 4장만큼의 향상은 얻지 못하며, 모델의 활성 파라미터 수가 적으면 때로 tp2pp2가 더 나은 성능을 보인다. 기대를 갖고 하드웨어를 구매할 일은 아니지만 이미 가지고 있다면.
3060에서 잘 작동한다. 슬롯 하나를 비워 창고에 넣어둔 3060을 꺼낼 때가 됐다.
8k 프롬프트에서 115% 향상이라니 대단하다. 지금은 3090 한 장으로 버티고 있는데 3080 20GB는 애매한 포지션이라고 생각해왔지만, 듀얼 구성에서는 이야기가 완전히 달라진다. 디코드 향상이 사실상 없는 것도 합리적인데, 토큰을 생성하는 순간 병목이 크게 바뀌기 때문일 것이다. 그래도 코드베이스 전체를 컨텍스트에 반복해서 밀어 넣는 에이전틱 코딩에서는 프리필 속도가 전부다. 싼 중고 3080 한 장을 눈여겨봐야겠다. 구형 보드의 PCIe 3.0 x16이라도 크게 지장은 없을 것이다.
디코드 향상이 사실상 없는 것은 당연한데, 토큰을 생성하는 순간 병목이 크게 바뀌기 때문이다. 그렇다. 필요한 연산량이 불균형하게 적고 GPU는 대부분 메모리 제약을 받기 때문이다. 다만 261k에서 안정적인 향상이 나타나기 시작하는데, 디코드 연산 부하가 프롬프트 길이에 따라 증가한다고 보므로 4장 구성에서 이 정도 토큰을 감당할 수 있다면 256k에서 1M 토큰 사이에서는 향상폭이 점점 커질 것으로 예상한다.