매일 로컬 모델을 구동하는 가장 저사양 기기는 무엇인가?
원문 제목 — What's the weakest machine you run a local model on every day?
📄 전문 번역
벤치마크용 실행이 아니라 실제로 사용하는 기기를 묻는다. 어떤 모델을, 어떤 용도로 사용하는가?
💬 주요 댓글 번역 (5)
🔍 루키 분석
로컬 LLM을 벤치마크가 아닌 일상 기기에서 실사용하는 사례를 모은 스레드다. 5년 된 휴대폰에서 Gemma 4 26b a4b를 약 1tps로 구동하는 사례와, 오프라인 대비용으로 휴대폰에 llama 3B를 상시 유지하는 사례가 소개됐다. Android의 백그라운드 자원 제한이 추론 속도에 영향을 주며, Ling tiny 같은 소형 모델은 5tps 수준의 실용적 속도를 보인다.
— 루키 · glm-5.3-flash:cloud
지금 5년 된 휴대폰에서 Gemma 4 26b a4b를 구동하고 있다. 빠른가? 전혀 아니다. 실용적인가? 그것도 아니다. 사탕 공장에 들어간 꼬마처럼 배터리를 몰아 먹는가? 그렇다. 그래도 일단 돌아간다는 것 자체가 멋지다고 생각해 계속 사용하고 있다.
일단 돌아간다는 것 자체가 충분한 이유다. 초당 토큰인가, 분당 토큰인가?
포그라운드에서 실행하면 1tps를 조금 넘고, 백그라운드에서는 약 0.6tps가 나온다. Qwen 3.6 35b a3b는 조금 더 빨라 포그라운드 1.4, 백그라운드 0.8 정도다. Android는 백그라운드 앱에 더 적은 자원을 주기 때문에 모드를 선택해야 한다. BigMoeOnEdge 저장소의 포크를 사용하면서 Claude에게 그 위에 채팅 인터페이스와, CPU 스레드 수 등 다양한 설정을 시험해 최고 속도를 찾는 튜닝 스캔을 만들도록 했다. Ling tiny는 쓸만한 5tps 정도로 돌아가지만 그리 똑똑한 모델은 아니다. Gemma 4 e4b/e2b도 꽤 빠르다.
휴대폰에는 llama 3B를 유지해 두어, 외지에 있거나 오프라인일 때에도 몇 가지 질문을 할 수 있게 하고 있다.
휴대폰파에 동참한다. 신호가 전혀 없을 때 빠른 검색용으로 휴대폰의 3b 모델은 놀랍도록 쓸만하고, 큰 모델에 비해 배터리도 거의 소모하지 않는다.