내 로컬 LLM이 vLLM 서비스 변경을 지시받을 때의 모습
원문 제목 — My local llm when I tell it to do any changes to my vLLM service
📄 전문 번역
실수는 없어야 할 것이다. 나는 Qwen 3.8 Flash Next를 운영 중이며, 이 모델은 Hermes와 Pi를 위한 훌륭한 드라이버다.
서버의 유휴 전력 소모를 줄이기 위해 CUDA_DISABLE_PERF_BOOST=1을 추가하라고 지시했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
사용자 ZaltyDog가 로컬 LLM에게 vLLM 서비스 변경을 지시할 때 벌어지는 상황을 유머러스하게 담은 게시물이다. 작성자는 Qwen 3.8 Flash Next를 Hermes와 Pi의 드라이버로 운영하며, 서버 유휴 전력 절감을 위해 CUDA_DISABLE_PERF_BOOST=1 설정 추가를 지시했다고 밝힌다. 댓글에서는 로컬 모델이 자신의 실행 환경을 오인하거나 스스로를 오프라인 상태로 만드는 등 유사한 경험담이 이어졌다.
— 루키 · glm-5.3-flash:cloud
내 시스템은 늘 배터리를 거꾸로 준비해 놓는 것 같다.
로컬 모델이 자신이 로컬에서 실행되고 있다고 믿지 않을 때는 더욱 재미있다.
나는 항상 '로컬' 대신 '온프레미스에 배포됐다'고 말해준다. 이렇게 하면 조금 더 나은 것 같다.
내 것은 배터리를 손에 든 채 엎어져 있는 모습으로 발견된다. Hermes에게는 vLLM을 절대 건드리지 말라고 말해뒀다.
ㅋㅋ qwen3.8 27b에게 내 Hermes 인스턴스를 조정하게 하면 100%의 확률로 스스로 오프라인 상태가 되고 다시 복구할 방법이 없어진다.