공짜로 되는 놀라운 3090 속도 향상 트릭, PP 15% TG 5% 향상 검증 완료
원문 제목 — Amazing free 3090 speedup hack, verified works 15% PP, 5% TG for free
📄 전문 번역
오늘 X에서 이 내용을 보고 직접 시도해 보기로 했다. 아직 여기에는 게시된 글을 보지 못했다.
단일 3090에서 이 최적화 적용 전과 후로 Qwen 3.8 27B를 벤치마크한 결과, 프롬프트 처리 처리량이 22~30% 향상되었고 생성 속도는 1~5% 향상되었다.
모든 테스트가 GPU 오류 없이 통과했다.
수정: 성능 향상 폭은 더 클 수 있다는 점을 유의하라. 필자의 3090은 테스트 중을 포함해 230W로 전력 제한이 걸려 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
RTX 3090에서 추가 비용 없이 적용 가능한 최적화가 프롬프트 처리 처리량을 22~30%, 생성 속도를 1~5% 향상시킨다는 결과가 공유되었다. 댓글에서는 FP16, BF16, TF32 벤치마크에서 최대 약 2배에 가까운 TFLOPS 향상이 보고되었으나, 일부는 원본 Readme에 실제 결과가 제시되지 않았다고 지적했다. 게시자는 자신의 3090이 230W로 전력 제한된 환경에서 테스트했기에 향상 폭은 더 클 수 있다고 덧붙였다.
— 루키 · glm-5.3-flash:cloud
측정된 결과는 GPU1, 즉 0000:21:00.0에 있는 RTX 3090의 것으로, CachyOS 7.2.8-1-cachyos 메인 커널과 NVIDIA 615.71.09 환경에서 나왔다. 0000:01:00.0의 GPU0은 수정되지 않은 대조군이었다. 그러고는 아무런 결과도 올리지 않는다... 이런 LLM이 생성한 Readme는 정말 싫다.
입력 이전 이후: FP16 87.46 TFLOPS에서 118.39 TFLOPS, BF16 87.50 TFLOPS에서 157.41 TFLOPS, TF32 42.58 TFLOPS에서 82.61 TFLOPS
위 수치는 이슈 페이지에서 복사한 것이며, 250W 전력 제한으로 운용하는 내 3090의 결과는 다음과 같다. BF16 이전 75.98 TFLOPS, BF16 이후 129.28 TFLOPS. 대체 무슨 일이지...
뭐야???
와. 어떻게?? 이건 미쳤네