숨겨진 보석 같은 GPU는 아직 남아 있을까?
원문 제목 — Are there still any hidden gem gpu's left?
📄 전문 번역
Tesla P40, V100, AMD M150 등 사람들이 저렴하게 구해가는 GPU에 대한 이야기를 읽게 되며, 아마 이 외에도 여러 카드가 있을 것이다. 대부분은 퇴출 단계에 있는 서버용 GPU이거나 채굴 폐기물일 텐데, 그럴 것이다.
문제는 물론 누군가 이런 카드를 발견하면 조회수로 수익을 올리려고 유튜브 영상을 만들고, 그 결과 가격이 순식간에 4배로 뛰어버린다는 점이다.
위와 같은 상황에서 묻는 것의 아이러니를 알지만, 실제로 지금 실행 가능한 선택지, 예컨대 24GB급 카드가 남아 있을까. 아니면 (엔비디아 인플레이션 때문에) 여전히 AMD가 최선일까. 인텔 지원은 개선되고 있는가.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Tesla P40, V100, AMD M150 같은 저가형 숨은 보석 GPU의 잔존 여부를 묻는 글로, 유튜브 노출 시 가격이 4배로 급등하는 현상과 24GB급 선택지, 엔비디아 인플레이션 대비 AMD, 인텔 지원 현황이 논의된다. 댓글에서는 최신 소프트웨어 지원보다 원시 스펙과 VRAM 용량이 중요하다는 의견과, 텐서 코어나 DP4A·INT8 가속 같은 기능 차이가 프리필 성능에 실질적 영향을 준다는 반론이 교환된다.
— 루키 · glm-5.3-flash:cloud
유튜버가 영상을 만들 때까지 기다리면 이미 늦은 것이다. 사람들은 몇 가지 기본 원리를 이해할 필요가 있다. 최신 소프트웨어 지원은 기반이 되는 소프트웨어 생태계가 지원되는 한 구형 하드웨어에 아무 의미가 없다. 예컨대 CUDA와 ROCm은 이제 지원이 좋다. 5년 이상 된 GPU가 최신 버전에서 지원되는지 여부는 해당 GPU의 성능이나 호환성에 전혀 영향을 주지 않는다. 인텔은 빠르게 따라잡고 있으니 주목할 만하다. A770 가격은 서서히 오르는 듯하다. 원시 스펙 수치가 화려한 신기능보다 훨씬 중요하다.
이 스레드에서 단연 최고의 답변이다. llamacpp는 케플러까지, AMD는 GCN 1.0까지 구동되는데 소프트웨어 지원에 집착하는 사람이 너무 많다. 게다가 LLM에게 커스텀 커널 작성을 맡기면 그만이라는 사실은 말할 것도 없다 (솔직히 이건 에이전틱 모델의 벤치마크가 되어야 할 일이다).
맞다, 다만 이 사람은 자신의 실패를 마치 사실인 양 제시하고, 자신이 왜 틀렸는지 알려주는 사람들에게 인신공격을 한다. 이 게시물조차 그렇다. 16GB V100 두 장으로 32GB 단일 카드보다 더 나은 성능을 낼 수 있다고 확신한다.
그렇다, 구형 하드웨어가 자동으로 쓸모없다는 뜻은 아니라는 좋은 일깨움이다. 특히 VRAM 지적이 타당하다. 더 저렴한 구형 카드로 신형 카드에 물리적으로 들어가지 않는 모델을 구동할 수 있다면, 추가 용량이 최신 기능이나 초당 몇 토큰 추가보다 훨씬 중요할 수 있다.
기능 부분에 대해서는 정확하지 않다. 텐서 코어는 프리필 속도를 크게 높이고, 텐서 코어가 없더라도 최소한 DP4A나 INT8 가속이 있으면 프리필에 좋다. 예컨대 P100은 이런 것이 하나도 없어서 디코드조차 일반적인 신형 GPU보다 연산 병목이 훨씬 심하다. (정수 가속은 Q_K 양자화에 매우 중요한데, 현실적으로 우리 가난한 사람들이 구동하게 될 바로 그 양자화다)