자체 하드웨어에서 로컬 모델의 t/s(초당 토큰 수)를 한 토큰이라도 더 짜내려고 애쓰다 지루해진 나머지, 대신 손가락용 tps 카운터를 만들었다(물론 실제 토크나이저를 사용한다). 필자의 최고 기록은 약 2 t/s이며, 해당 페이지에 따르면 이 수치는 노트북 CPU에서 구동하는 70B 모델을 앞서고 4090에서 구동하는 8B 모델보다 약 76배 느리다.

LLM의 답변을 기다리는 동안 할 일을 찾고 있다면 한번 시도해 보라. 덧붙여 결과를 공유할 수도 있는데, 어쩌면 필자가 유명해질지도 모른다.