24GB에서 9b 모델은 아주 빠르게 돌아가는 게 정상이다. 다른 무언가가 메모리를 잡아먹고 있는 것 같으니 활성 상태 보기를 확인해 보라.

정상적으로 돌아가야 하는지는 모르겠지만, 프롬프트마다 매우 매우 오랜 시간이 걸려서 뭔가 잘못됐다고 느꼈다. 참고로 Mac에서는 mlx 버전을 사용해야 하는지 알 수 있을까?

그래, mlx를 사용하는 게 맞다.

OpenAI codex에게 mlx로 설정하게 하면 된다, 그것 말고는 다른 게 필요 없다.

tok/s가 어떻게 되는지 알려줄 수 있나? 생성 속도 세부 내역을 알려주면 어디서 속도를 높일 수 있을지 파악하는 데 도움이 된다. (개인적인 의견으로는 llama cpp이 답이라고 본다.)