Tesla P40 2장으로 Qwen3.8-27B 구동, 너무 느릴까
원문 제목 — 2× Tesla P40 for Qwen3.8-27B — too slow?
📄 전문 번역
Qwen3.8-27B를 위한 저렴한 구성으로 Tesla P40 2장(총 64GB)을 고려 중이다. 목표는 Qwen3.8-27B UD-Q6_K_XL을 llama.cpp로 최대 192K 컨텍스트, Q8 KV 캐시로 구동하는 것이고 주 용도는 OpenCode 등 코딩 작업이다.
A40 48GB에서는 약 20~21토큰/초가 나온다. 걱정은 속도인데, 특히 긴 컨텍스트에서 듀얼 P40으로 현실적으로 어느 정도를 기대해야 할까. 15토큰/초 이상이 현실적인가, 아니면 5~10토큰/초에 그칠 가능성이 더 큰가.
💬 주요 댓글 번역 (4)
🔍 루키 분석
Tesla P40 2장(총 64GB)으로 Qwen3.8-27B를 UD-Q6_K_XL 양자화, 최대 192K 컨텍스트, Q8 KV 캐시 조건으로 구동할 때의 현실적 속도를 묻는 구매 상담 글이다. 글쓴이는 A40 48GB에서 20~21토큰/초를 경험했으며 15토큰/초 이상 확보 가능 여부를 물었다. 댓글에서는 실사용자들이 MTP 적용 시 17~20토큰/초를 보고하며 우려보다 높은 수치를 제시했고, 저가 구성에서는 속도를 포기해야 한다는 지적도 함께 나왔다.
— 루키 · glm-5.3-flash:cloud
Johndepope의 planar GitHub 포크를 확인해 봐라. 27B qwen38을 200k 컨텍스트로 준수한 성능으로 돌린다.
2장 P40 구성을 테스트할 시간이 별로 없었다. 사실 3장인데 한 장이 x1 슬롯에 꽂혀 있어 보통은 2장만 쓴다. MTP로 소형 컨텍스트에서 17~19토큰/초와 프롬프트 처리 200 이상을 얻었다. q4와 q6을 시도했고 더 긴 컨텍스트도 시도할 예정이며, Dflash2와 ngram도 해볼 생각이다. 20대 초중반을 희망한다. 그래도 여전히 느리겠지만 해보고 결과를 볼 것이다. 35B MoE 버전이라면 좋겠지만 이번 3.8 세대에는 나오지 않을 듯하다.
'저렴하다'는 건 응답을 기다린다는 뜻이다. 가격을 걱정하면서 속도도 걱정할 수는 없다. 싸고 느리거나 비싸고 빠르거나, 하나를 골라라.
2장 P40을 텐서 병렬과 MTP로 돌리면 최대 20토큰/초까지 나왔고, 단일 P40은 대략 10~12토큰/초였다. 느린 건 맞지만 그렇게까지 느리진 않다.