영상 생성 모델로 만든 궤도 스타일 영상(최근에는 ComfyUI에서 Minimax H3 사용)을 가지고 실험하면서 가우시안 스플래팅의 훌륭한 입력이 될 것이라고 계속 생각했다. 문제는 일반적인 파이프라인을 쓰려면 COLMAP, 트레이너, CUDA 등을 설치해야 한다는 점이었다. 하나의 아이디어를 시도해보기에는 진입 장벽이 너무 높았고, 그래서 Gausify Orbit이라는 웹 애플리케이션을 만들었다.

영상을 넣으면 전 과정이 WebGPU 기반으로 브라우저에서 로컬로 실행된다. 영상에서 프레임을 추출하고, ONNX Runtime Web으로 구동되는 RMBG-1.4(BRIA)를 이용한 선택적 배경 제거, 소규모 SfM(structure-from-motion) 단계를 통한 카메라 포즈 추정, Brush를 이용한 스플랫 학습이 이루어지며 결과를 미리보고 PLY 또는 SOG 형식으로 내보낼 수 있다.

Python도 CUDA도 계정도 필요 없으며 영상은 절대 사용자의 기기를 떠나지 않는다. 모델은 한 번만 다운로드하면 되고 그 이후에는 앱이 오프라인에서도 동작한다. 결과를 다른 사람에게 보여주고 싶다면 뷰어에서 열리는 임시 비공개 링크를 공유할 수 있으며 WebXR도 지원한다. 모든 연산이 사용자의 GPU에서 실행되므로 속도는 하드웨어 사양에 따라 달라지고, WebGPU를 지원하는 브라우저가 필요하며 최신 Chrome이나 Edge에서 가장 잘 동작한다. AI 영상은 3D 일관성이 완벽하지 않아 생성물에 따라 재구성 품질 차이가 크고, 중앙에 배치된 단일 피사체를 느리고 일정하게 도는 궤도 영상이 가장 좋은 결과를 낸다.

더 나은 결과를 위한 팁으로 개발자는 pablodawson이 공개한 LoRA를 Minimax H3에 적용해 더 깔끔한 궤도 영상을 얻고 있다. 이 LoRA는 카메라가 피사체 주위를 훨씬 부드럽고 일관된 360도 궤도로 움직이게 하는데, 재구성 단계가 카메라가 예측 가능한 경로를 따르는 것에 의존하기 때문에 큰 도움이 된다. 테스트에서 이 LoRA로 만든 영상은 일반 프롬프팅보다 더 정확한 카메라 포즈와 눈에 띄게 선명한 스플랫을 냈으며, 궤도 영상을 생성할 목적이라면 적극 추천할 만하고 관련 ComfyUI 워크플로우도 공개되어 있다.