먼저 밝히자면, 필자는 이 프로젝트의 유지보수자 중 한 명이다. Open WebUI나 스크립트를 로컬 서버에 연결해 본 사람이라면 실패 패턴을 알 것이다. 서버가 재시작하면 모든 대화가 사라지고, 에이전트의 긴 프리필 하나로 채팅이 큐에서 대기하며, 루프백을 넘어 바인딩하는 순간 포트 포워드 하나로 누군가의 무료 추론 서버가 될 수 있다.

superfluid는 바로 그 문제를 겨냥해 만든 데몬이다. llama.cpp와 MLX 앞에 단일 서버를 세워 OpenAI, Anthropic, Ollama 호환 API를 제공하므로 기존 클라이언트는 그대로 동작한다.

내부적으로 다른 점은 다음과 같다. 커밋된 모든 토큰이 write-ahead 로그에 기록되어 응답 도중 서버를 죽여도 재시작하면 세션이 이어진다. QoS 클래스에 선점 기능이 있어 요청이 인터랙티브 클래스로 실행되며 에이전트 큐를 건너뛴다. 에이전트 8개 뒤에 놓인 채팅도 첫 토큰까지 약 1.5초가 걸리며, 기존 서버에서는 같은 Mac, 같은 모델로도 수 분이 소요된다. 기본 바인딩 주소는 127.0.0.1이며 교차 출처 브라우저 요청과 DNS 리바인딩 Host 헤더를 거부하고, 범위를 넓히기 전에는 키를 요구한다.

Ollama의 대체제가 아니라 llama.cpp의 공식 빌드를 필요할 때 설치해 사용한다. 지원 대상은 Apple silicon과 Linux다. 저장소와 벤치마크는 링크에서 확인할 수 있다. 제보: /u/nightowlsleeping