프롬프트 사이의 대기 시간, 여러분은 무엇을 하는가?
원문 제목 — What are you doing between prompts?
📄 전문 번역
현재 로컬 프롬프트 하나가 완료되기까지 20분에서 3시간이 걸린다. 작업이 돌아가는 동안 다른 이용자들은 무엇을 하는지 궁금하다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
로컬 LLM 추론의 긴 대기 시간을 어떻게 활용하는지에 대한 이용자 간 논의다. 한 이용자는 단일 파일 락 기반으로 직접 만든 로컬 하네스를 멀티플렉싱해 우선순위를 조절할 수 있는 10개 프로젝트를 동시에 운영하며, /polite 명령으로 GPU 작업 대기 시간을 제어한다고 밝혔다. 하드웨어로는 36GB M3 Max 노트북과 128GB Halo Strix가 언급되었다.
— 루키 · glm-5.3-flash:cloud
다른 프로젝트를 시작한다.
동의한다. 나는 직접 만든 로컬 하네스를 단일 파일 락으로 멀티플렉싱한다. 보통 우선순위를 설정할 수 있는 10개의 프로젝트를 동시에 돌린다. 유일한 번거로움은 '입력 대기' 탭으로 돌아왔을 때 무엇을 하고 있었는지 기억해내는 것이다.
실례가 안 된다면, 여러 프로젝트를 동시에 돌리려면 어떤 하드웨어를 사용하시나요?
36GB M3 Max 노트북을 사용하고, 아들은 Halo Strix 128GB를 쓴다. 파일 락 전략 덕분에 GPU가 순서대로 작업을 처리하므로 크게 중요하지 않다. 10개 프로젝트를 돌릴 때는 속도를 기대하지 않지만, 때로는 특정 프로젝트가 나머지보다 우선순위를 갖도록 강제해야 해서 /polite 명령을 구현했다. 평소에는 각 GPU 작업(툴 호출, 프롬프트 처리 등) 사이에 10초씩 양보하며 파일 락을 확인하지만, 락 확인 대기 시간은 설정할 수 있다. /polite 0을 입력하면 해당 프로젝트가 '거친(rude)' 모드로 전환되어 락을 즉시 가져온다.
완전히 내 얘기를 들은 것 같아서 공감된다.