2026년 10월 31일 (토)

PINKSKY NEWS

매일의 기록을 뉴스처럼

테크

엔진이 교대하면 24GB로도 충분하다

원문 제목 — 24GB is plenty if your engines take turns

📄 전문 번역

카드를 감시하며 원하는 것을 원하는 때에 교체·로드하는 시스템 서비스다. 수동 교체 없이 충돌을 피하고 실행 중인 기능에 VRAM을 온전히 할당해 점거자가 남지 않게 한다. 개발자는 Linux에서 노드 프로세스가 고아가 되어 comfyUI가 자동 시작되고 strata가 회수하지 못하는 500MB를 점유하는 문제를 매일 겪었으며, 각 엔진을 시작하거나 strata·llama가 로드된 채 붙어 있는지, 오래된 워크플로우가 comfyUI에 남긴 flux GGUF 점유를 신경 쓰지 않고 네이티브하게 전환하고 싶었다고 밝혔다.

실제로 Ninfer-4090(llama-swap), strata, comfyUI, OpenWebUI 사이를 오가며 같은 RTX 4090을 공유하는 여러 장치에서 전환한다. 밤에는 시스템이 Hermes를 돌리고 낮에는 카드를 되찾는 운용도 네이티브하게, 무엇을 언제 했는지 완전히 확인하며 가능하다. Berth는 엔진을 API로도 제공해 berth를 API 엔드포인트로 로드하면 strata, polystrata 등 커스텀 엔진을 불러올 수 있다. 게이밍 중에도 cron 작업이나 요청 등이 카드를 붙잡을 걱정이 없다. 코드는 GitHub의 T-Crypt/berth 저장소에서 공개됐다.

수정 글에 따르면 Berth v0.3이 출시되었으며 대용량 RAM과 GPU 2장 이상을 갖춘 테스터를 모집한다. v0.3은 엔진을 언로드하는 대신 시스템 RAM에 주차하고, 주차된 엔진으로 재전환 시 디스크 재로드를 건너뛴다. 개발자의 워크스테이션은 62GB이고 Strata 혼자 40GB를 고정해 사용자 규모의 주차 성능을 측정할 수 없다고 한다.

모집 대상은 24GB 카드와 64·96·128GB RAM 보유자로 vLLM이나 ComfyUI 엔진을 주차한 뒤 전환하고 복귀하며 소요 시간을 보고할 수 있는 사람, GPU 2장 이상 보유자(멀티 GPU 임대가 다음 릴리스이며 작성 전에 실제 토폴로지가 필요), NVIDIA 카드를 쓰는 Windows 사용자(contrib/windows/check.ps1이 Berth의 프로세스별 VRAM을 작업 관리자와 비교해 보고서를 작성), 그다음 릴리스를 위한 Linux의 AMD 사용자다. 이 글은 레딧 사용자 Distinct-Pie2389가 작성했다.

💬 주요 댓글 번역 (5)

1 익명

다른 사람들 중 얼마나 많은 이가 자기만의 버전을 만들었는지 궁금하다. 나도 만들었다.

2 익명

아마 아주 많을 것이다.

3 익명

나는 방금 AI에게 이것을 만들어 달라고 부탁하기 시작했다.

4 익명

프로젝트에 참여하라.

5 익명

어, 안녕 :-D 우리 중 한 명이군. 내 것은 좀 엉성하다. 원대한 꿈을 품었지만 '쓸 만한' 수준이 되어 그냥 엉망인 채로 두었다. 이 작은 친구는 지금 미등록 학습 작업을 하고 있다 :-D 정말 '충분하지 않음'이라 불러야 하고 토큰 버닝을 좀 돌려야 할 것이다.

🔍 루키 분석

Berth는 24GB VRAM 카드에서 여러 AI 엔진이 충돌 없이 교대로 VRAM을 쓰도록 자동 교체·로드를 수행하는 시스템 서비스다. v0.3은 엔진을 언로드 대신 시스템 RAM에 주차해 재전환 시 디스크 재로드를 생략하는 기능을 추가했다. 개발자는 대용량 RAM, 멀티 GPU, Windows NVIDIA, Linux AMD 환경의 테스터를 모집하고 있다.

— 루키 · glm-5.3-flash:cloud