RTX 2080 Ti 22GB 개조 카드로 로컬 LLM 추론 – 테스트해 본 사람 있나?
원문 제목 — RTX 2080 Ti 22GB modded card for local LLM inference – anyone tested one?
📄 전문 번역
개발한 프로젝트를 검증하기 위해 소규모 로컬 AI 서버를 구축하고 있다. 애플리케이션은 현재 Qwen 9B를 구동하며, 서버는 소수의 사용자를 대상으로 한 초기 파일럿에만 사용될 예정이다. 하드웨어를 직접 마련해야 하기 때문에 초기 투자 비용을 최대한 낮추려고 한다. 알리바바(Alibaba)에서 개조된 RTX 2080 Ti 22GB 카드를 발견했고, 20GB를 넘는 VRAM을 저렴하게 확보하는 방법으로 하나를 검토하고 있다.
판매자가 제시한 사양은 다음과 같다. RTX 2080 Ti, 22GB VRAM(원래 11GB에서 개조), 352비트 메모리 버스, 14Gbps 메모리, 250W TDP, 8+8핀 전원, 블로워 방식 쿨러다.
판매자는 스트레스 테스트 영상도 보내왔다. nvidia-smi는 해당 카드를 22,528MiB VRAM을 갖춘 RTX 2080 Ti로 인식한다. 영상 속 카드는 gpu_burn으로 100% 사용률을 유지하며 약 200~245W, 대략 69~74°C에서 작동하고 있다.
주된 목표는 게이밍 성능이 아니다. Qwen 9B에 대해, 아마 양자화된 모델을 대상으로, 적절한 컨텍스트/KV 캐시와 소수의 동시 사용자를 감당할 만한 VRAM을 갖추고 비교적 안정적인 CUDA 추론을 수행할 수 있기를 원한다. 이 카드들이 비공식 VRAM 개조 제품이라는 점을 알고 있기 때문에 우려되는 사항은 다음과 같다. 22GB 메모리 개조의 장기 신뢰성, CUDA/llama.cpp/Ollama/vLLM 호환성, LLM 워크로드에서 22GB 전체가 실제로 안정적인지 여부, 튜링(Turing) 아키텍처의 드라이버 및 컴퓨트 능력 제한, 24GB RTX 3090에 훨씬 더 많은 비용을 지불하는 것과 비교했을 때 이 구매가 감수할 만한 위험인지 여부다.
여기서 22GB RTX 2080 Ti를 LLM 추론에 실제로 사용해 본 사람이 있는가? 사용했다면 어떤 모델과 런타임을 썼고 안정성은 어땠는가? 프로덕션 서버가 아닌 저예산 파일럿 용도라면 이를 합리적인 절충안으로 볼 수 있을까?
💬 주요 댓글 번역 (5)
🔍 루키 분석
알리바바에서 판매되는 RTX 2080 Ti 22GB 개조 카드를 저예산 파일럿용 로컬 LLM 추론 서버에 활용할 수 있을지 묻는 사례다. 댓글에서는 가성비와 확장성에 대한 긍정적 평가와 함께, 구매 전 전체 VRAM 메모리 테스트와 실제 Qwen 9B 워크로드 검증을 권하는 신중론이 제시됐다. 실사용자는 카드 자체는 안정적이지만 팬이 항상 최소 30%로 돌아가는 등 일반 카드와의 차이를 지적했으며, 중고 RTX 3090과의 가격 차이가 작다면 3090이 더 안전한 선택이라는 의견도 나왔다.
— 루키 · glm-5.3-flash:cloud
조립 품질에 달려 있지만, 내가 보기에는 가성비가 꽤 좋고 확장성 측면에서도 훌륭할 수 있다. 다만 제대로 리퍼비시되었는지, 그리고 향후 필요할 수 있는 NVLink가 정상 작동하는지 확인해야 한다.
또한 관련 사이트에서 이 카드의 속도 정보를 확인할 수 있다.
나는 이 카드를 하나 가지고 있다. 잘 작동하고 매우 안정적인 카드였다. 일반 소비자용 카드와 비교해 몇 가지 주의점이 있다. 팬은 절대 저속으로 내려가지 않고 항상 최소 30%로 돌아간다. 팬이 빨라질 때 점진적으로 올라가지 않고 팬 속도 사이를 띄엄띄엄 뛰는 경향이 있다. 같은 방에서 함께 작업하고 싶지는 않겠지만, 구석에 놓인 헤드리스 서버용으로는 문제없다.
소규모 파일럿이라면 가격이 충분히 낮을 경우 의미가 있을 수 있지만, 판매자의 'gpu-burn' 영상을 믿기 전에 메모리 테스트로 전체 VRAM을 검증해야 한다. 지속적인 LLM 추론은 짧은 스트레스 테스트가 놓치는 메모리 오류를 드러낼 수 있다. 또한 의도한 컨텍스트 길이와 동시성 조건으로 실제 Qwen 9B 워크로드를 llama.cpp에서 먼저 테스트하라. 튜링은 여전히 컴퓨트 능력 7.5이므로 사용하려는 런타임의 현재 커널 지원 여부를 확인하라. 중고 RTX 3090과의 가격 차이가 작다면, 순정 24GB 구성과 낮은 개조 위험 때문에 3090을 선택하는 편이 낫다.
너무 비싼 데 비해 얻는 이득이 적다. V100 16GB보다 저렴하거나, 500달러 미만으로 48GB처럼 조금 더 큰 용량이라면 흥미로웠을 것이지만, 현실은 그렇지 않다.