클라우드 서비스를 실제로 쓰지 말고 대신 저렴한 전용 서버나 VPS를 대여할 것을 권한다. 에이전트가 소스 코드 컴파일 같은 고부하 작업을 한다면 VPS보다 전용 서버를 추천한다. 다만 올린 내용을 보면 VPS로도 충분해 보인다. 작년 Anthropic 관련 사건 이후 LLM 작업용 원격 서버를 1년 남짓 운영해 왔다. 주로 로우레벨 작업을 다루는 개발자라 컴파일이 많이 필요한데, 러스트 빌드를 수행하는 에이전트 4개 이상을 돌리면 로컬 개발 환경이 사실상 멈춘다.

추론을 별도 호스팅 API로 처리한다면 소형 VPS로도 Python 워커를 구동할 수 있으며 워커 자체에는 GPU가 필요 없다. 모델 자체 호스팅은 별도의 사양·비용 산정 문제다. 이 POC에서 중요한 것은 행을 안정적으로 처리하는 것이다. 최신 행만 가져오지 말고 처리 완료된 행의 ID와 상태를 보관해야 폴링 사이에 도착한 행을 놓치지 않는다. 행을 점유한 뒤 타임아웃을 걸고 LLM을 호출하고 출력을 검증한 다음, DB가 허용하는 곳에서는 결과와 감사 기록을 함께 커밋하라. 행 ID를 멱등성 키로 사용해 재시작 시 같은 결과가 두 번 기록되지 않게 하라. '24/7'이 즉시...