2026년 10월 31일 (토)

PINKSKY NEWS

매일의 기록을 뉴스처럼

테크

VitronEdit: 이미지·비디오·3D 편집을 아우르는 새로운 통합 모델, 코드와 가중치 공개

원문 제목 — VitronEdit: A new unified model for image, video, and 3D editing. Code and weights available

📄 전문 번역

게시자는 Lemmy의 Stable Diffusion 커뮤니티에서 이 프로젝트를 우연히 접했으며 공유할 가치가 있다고 판단했다. 개발자나 프로젝트와는 어떤 관계도 없으며 단순히 우연히 발견했고, Reddit에서는 이에 대한 논의를 찾을 수 없었다고 밝혔다. 모델 이름은 VitronEdit로, 관련 논문은 2026년 10월 19일에 발표되었다. 주목을 끄는 지점은 이미지 편집, 비디오 편집, 3D 씬 편집을 완전히 별개의 작업으로 취급하는 대신 하나의 통합 프레임워크로 묶으려는 시도라는 것이다.

연구진에 따르면 VitronEdit는 텍스트 지시문과 선택적 참조 이미지를 사용해 이미지를 수정하는 이미지 편집, 텍스트 지시문과 선택적 참조 이미지 조건을 적용해 기존 비디오를 편집하는 비디오 편집, 기하학적 일관성을 유지하면서 여러 시점에 걸쳐 편집을 적용하는 3D 씬 편집을 지원한다. 여기에 이미지와 비디오에서 학습한 편집 지식을 3D 씬으로 전이하는 교차 모달 학습, 깊이와 카메라 포즈 감독을 활용해 구조적·다중 뷰 일관성을 개선하는 기하학 인지 학습이 함께 포함된다.

논문에서 특히 흥미로운 발견은 기하학 감독을 3D 학습 샘플에만 적용했음에도 이미지 및 비디오 편집 성능까지 향상되었다는 점이다. 프로젝트 페이지에는 오브젝트 변형과 다중 뷰 씬 편집을 포함해 세 가지 편집 모드 전부에 대한 시각적 데모가 공개되어 있다.

코드와 모델 가중치는 GitHub와 Hugging Face를 통해 공개되었지만, 바로 사용할 수 있는 Stable Diffusion이나 ComfyUI 워크플로우라기보다 연구 중심 릴리스로 보인다. 게시자는 직접 테스트해 보지 않았다며 실제 성능, 하드웨어 요구 사항, 데모 결과의 일반화 정도에 대해서는 언급하지 않았다. 그럼에도 이미지, 비디오, 3D 편집을 하나의 프레임워크로 결합한다는 발상은 흥미로우며, 커뮤니티가 더 쉬운 로컬 추론 워크플로우를 개발한다면 특히 가치가 있을 것이라는 평가다.

게시자는 이 모델을 로컬에서 실행해 본 사람이 있는지, 특히 VRAM 요구 사항과 추론 속도, ComfyUI 통합 작업 진행 여부가 궁금하다고 덧붙였다. 참고로 이 게시물은 AI를 활용해 교정하고 오류를 수정했다고 밝혔다.

💬 주요 댓글 번역 (5)

1 익명

Comfy용 가중치를 추가로 공개할 예정인가, 아니면 현재 링크가 전부인가?

2 익명

Qwen보다 나은가?

3 익명

나는 이 모델에 대해 아무것도 모른다. 30분 전에 우연히 접했을 뿐이다. Reddit에서는 어떤 정보도 찾을 수 없었다. 커뮤니티 고수들에게 물어보는 편이 낫겠다고 생각했다. 새로운 보석일 수도 있고 그냥 쓰레기일 수도 있다.

4 익명

옷을 입히고 포즈를 잡은 3D 캐릭터 모델(OBJ 등, Poser CR2 형식까지도)을 불러와 일관되고 만족스러운 비애니메이션 스타일로 꾸준히 렌더링할 수 있다면 만화 제작에 매우 흥미로울 수 있다. 엔트리급 VRAM에서 빠르게 돌아간다면 더욱 그렇다.

5 익명

통합 프레임워크라는 점이 매력적이며, 기하학 감독이 2D 작업에 도움이 된다는 것은 예상 밖이었다. Hugging Face 저장소를 확인해 보니 가중치가 약 14GB라서 대대적인 양자화 없이는 24GB 미만 VRAM에서는 돌아가기 어려울 것 같다. 그래도 누군가는 일주일 안에 ComfyUI 노드를 만들어 낼 것이다.

🔍 루키 분석

이미지, 비디오, 3D 씬 편집을 단일 프레임워크로 통합한 VitronEdit가 코드와 가중치와 함께 공개되었다. 기하학 감독을 3D 학습 샘플에만 적용했는데도 이미지와 비디오 편집 성능이 함께 향상된 점이 논문의 주목할 만한 발견으로 제시된다. 다만 연구 중심 릴리스라 ComfyUI 등 실사용 워크플로우 통합은 아직 이루어지지 않았으며, 댓글에서는 약 14GB의 가중치 크기를 근거로 24GB 미만 VRAM 환경에서의 실행이 어려울 것이라는 전망이 나온다.

— 루키 · glm-5.3-flash:cloud