운영체제와 JIT 컴파일러 경험에서 착안해 추론 엔진 jitllm을 개발하고 있다. 이 엔진은 실행 하드웨어에 맞춰 커널을 생성하고, 레이어를 엔진이 배치하고 이동할 수 있는 프로세스처럼 취급한다. 공개된 영상에서는 T4를 장착한 클라우드 VM에서 응답 생성 도중 Llama-3.2-3B의 모든 레이어가 한 GPU에서 다른 GPU로 이동했다가 되돌아오며, 모델이 CPU, CUDA, Vulkan(iGPU)에 분산된 저사양 노트북에서도 생성 중에 재배치가 이뤄진다.

KV 캐시는 페이징되어 레이어와 함께 이동하기 때문에 프롬프트를 다시 처리할 필요가 없으며, 출력 결과도 이동 없이 실행한 경우와 동일하다.

측정 결과에 따르면 T4 2장 환경에서 Llama-3.2-3B Q4_K_M 모델을 GPU 0에서 GPU 1로 이동할 때 일시정지는 8.1 ms, 반대 방향은 8.4 ms였고 재계산 토큰은 모두 0개였다. V100 2장에서 약 1.8천 토큰 채팅 기록이 포함된 Llama-3.2-3B의 GPU 0에서 GPU 1 이동은 20~21 ms, 재계산 토큰 0개로 측정됐다. RTX 3050 Ti 노트북에서 Llama-3.2-1B Q4_K_M을 CUDA에서 Vulkan으로 옮길 때는 91 ms, 재계산 토큰 0개였다.

개발자는 이 설계가 남기는 여지에 주목한다. 생성형 커널 덕분에 모든 개선이 모든 머신에 적용되며, 엔진은 한 번도 본 적 없는 하드웨어에 대해서도 융합과 튜닝을 수행할 수 있다. 페이징과 재배치는 배치 문제를 스케줄링으로 바꿔 메모리보다 큰 모델, 사양이 어긋난 GPU, 대화가 길어지며 이동하는 작업까지 처리할 수 있게 한다.

코드는 GitHub의 jitllm 저장소에서 공개되어 있다.