소니 PSP(2004년산 하드웨어)에서 90M 대화형 LLM을 구동할 수 있게 됐다, 이보다 더 로컬할 수는 없다
원문 제목 — You can now run a 90M conversational LLM on the Sony PSP (hardware from 2004). Doesn't get more local than this.
📄 전문 번역
관련 코드는 GitHub의 thatblend/LLMPSP 저장소에서 확인할 수 있다. 개발자는 PSP가 이론상 어디까지 감당할 수 있는지 시험해봤고 답을 얻었다. 끔찍한 추론 속도를 감수하지 않는다면 90M 모델이 대략 최대치라는 것이다.
추론 속도는 초당 약 0.5~0.6 토큰으로 매우 느리지만 사용할 수는 있는 수준이다. 답변 하나를 받는 데 1~3분 정도 걸린다.
모델은 90M 파라미터 치고 상당히 인상적이라는 평가다. 실질적인 지표로는 쓸모가 없지만 엉터리 시와 단편 소설을 생성하고, 동작하지 않는 코드를 작성하며, 맥북을 만드는 회사가 어디인지, LLM이 무엇인지 같은 질문에는 때때로 정확히 답한다. 반면 다른 순간에는 터무니없는 답을 환각으로 내뱉는다.
재미있는 시도다.
💬 주요 댓글 번역 (4)
🔍 루키 분석
2004년 출시된 소니 휴대용 콘솔 PSP에서 90M 파라미터 규모의 대화형 LLM을 구동한 프로젝트가 공개됐다. 추론 속도는 초당 0.5~0.6 토큰으로 느려 답변에 1~3분이 걸리지만 사용 가능한 수준이며, 구현은 GitHub 저장소로 공유되어 있다. 극한의 로컬 실행 가능성을 시험하는 하드웨어 챌린지 성격의 소식이다.
— 루키 · glm-5.3-flash:cloud
아 그렇지, Sony Saturn, 클래식 콘솔이지. Sega PlayStation 2의 진정한 라이벌이었으니까.
그래도 Sony Pluto 생산이 중단된 건 아쉽다. 그 시절이 참 좋았는데.
맞아맞아, Not Angry Game Video Nerd가 그에 관한 영상을 올렸다.
개인적으로는 GameOrb가 둘 다 짓밟는다고 본다.