핵심 요약: DGX Spark 2대를 CX7 케이블로 TP=2 연결해 DeepSeek-V4.1-Flash-1017(EXL3 2.9bpw, 1M 컨텍스트)을 구동했다. TensorFold는 동일한 장비, 동일한 가중치, 동일한 프롬프트, 같은 날 측정 조건에서 vLLM 키트보다 2.1~2.3배 빠르다. 디코드 텍스트는 vLLM 키트 27.0 tok/s 대비 TensorFold 56.8 tok/s, 디코드 코드는 39.9 tok/s 대비 92.2 tok/s, 64K 바늘 찾기는 80.4초 대비 35.9초, 코드 4개 요청(한 번에 하나씩 처리)은 총 140 tok/s를 기록했다.

콜드 프리필(무작위 단어 프롬프트, 캐시 히트 없음, bertholomus의 kit_bench 클라이언트 사용)을 오늘 밤 측정한 결과, 8K에서 vLLM 키트 789 tok/s 대비 약 2,075 tok/s, 32K에서 925 tok/s 대비 2,080~2,185 tok/s, 64K에서 약 800 tok/s 대비 2,010~2,040 tok/s, 128K에서는 측정 불가 대비 약 1,900 tok/s, 1M(1,034,753토큰)에서는 측정 불가 대비 1,246 tok/s(바늘 찾기 성공)를 기록했다. 즉 프리필에서도 대략 vLLM 대비 2.2~2.4배 빠르다. 동일한 24K 문서에 대한 두 번째 질문은 프롬프트 캐시 덕분에 약 1.1초 만에 시작된다. 이 중 일부는 오늘 밤 발견한 호스트 튜닝(엔진용 스왑 비활성화, 커널 압축 축소)에서 나온 것으로 다음 업데이트에서 저장소에 반영되며, bertholomus의 엔진은 32K에서 약 2,400 tok/s를 공개하고 있어 아직 그 격차를 좁히는 중이다.

강제 도구 호출(tool_choice required 또는 이름 지정), json_schema, regex, choice 출력, 동시 4개 요청 처리가 지원되며, 잘못된 요청 하나가 더 이상 서버를 다운시키지 않는다.

또한 프롬프트 캐시는 재시작 후에도 유지되어 18K 토큰 대화를 16.8초가 아닌 2.7초 만에 재개할 수 있다. 레시피는 GitHub에서, 모델 카드는 Hugging Face에서 공개되어 있으며, 고성능 엔진의 공은 bertholomus의 V4.1 포트에 돌린다. 이 게시물은 레딧 사용자 shayanx45가 제출했다.