사람들이 아직 Strata를 제대로 이해하지 못하고 있다…이제 저렴한 중고 DDR3 머신으로
원문 제목 — People still dont fully grasp Strata You can now buy old cheap DDR3 machine with
📄 전문 번역
사람들은 여전히 Strata를 완전히 이해하지 못하고 있다.
이제 128GB 또는 64GB RAM을 갖춘 저렴한 중고 DDR3 머신을 사서 8GB 이상 GPU를 연결하고 Qwen3.8-Flash-Next를 초당 70토큰 이상 속도로 구동할 수 있다.
기억하자: CPU의 코어와 스레드가 많을수록 속도가 빨라진다 :)
💬 주요 댓글 번역 (5)
🔍 루키 분석
X(트위터)에서 좋아요 1874개를 기록한 @coldniko의 글로, 로컬 추론 소프트웨어 Strata를 활용하면 저렴한 중고 DDR3 머신과 8GB 이상 GPU만으로 Qwen3.8-Flash-Next를 초당 70토큰 이상 구동할 수 있다고 소개한다. 작성자는 CPU의 코어와 스레드 수가 많을수록 추론 속도가 빨라진다는 점을 강조한다. 댓글에서는 5080과 9950X3D 조합에서 최대 125토큰, 개조 3080과 3060 조합에서 45토큰 등 실측 성능이 보고되었고 Turing 카드 지원 소식도 화제가 되었다.
— 루키 · glm-5.3-flash:cloud
Strata는 놀라운 일을 해낸다. 64GB RAM을 장착한 9950X3D와 5080 조합에서 초당 90토큰 수준, 최대 125토큰에 육박하는 성능이 나온다. 그냥 놀아 있던 게이밍 머신이 풀타임 추론 장비로 바뀌었다 :)
뭐지? 이제 Turing 카드도 지원한다고? ㅋㅋㅋ 꼭 써볼 생각이다
사실이다.
Strata 덕분에 로컬 AI에 다시 흥미가 생겼다. 20GB 개조 3080에 12GB 3060, 64GB DDR4, 오래된 MSI X470 게이밍 보드의 Ryzen 5500 조합으로 Qwen 3.8 Flash Next IQ3_s를 돌리니 별도 설정 없이 초당 45토큰에 128k 컨텍스트가 나온다. 꽤 미쳤다.
오래된 AMD Threadripper는 어떨까?