Ostris, Flux.2 VAE보다 뛰어난 Primal VAE 공개한다
원문 제목 — Ostris releases Primal VAE - better than Flux.2 VAE.
📄 전문 번역
Primal VAE는 2배 공간 다운샘플링만 수행해 1채널(또는 2채널) 잠재 표현을 만드는 VAE다. 잠재 표현에 패치 4를 적용하면 16채널에서 8배가 되어, 깊은 압축 없이도 대부분의 최신 VAE와 동일한 구조를 얻을 수 있다.
패칭은 DiT가 기존 방식 그대로 수행하며 VAE는 작은 크기를 유지한다. 잠재 표현은 놈(norm)이 노이즈와 일치하도록 학습되어, 스케일링 팩터나 시프트 팩터, 잠재 정규화를 따로 챙길 필요가 없다. 인코딩하고, 패치 4를 적용하고, 디퓨즈하면 된다.
모델은 Hugging Face에서 ostris/primal_vae로 공개되었다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Ostris가 공개한 Primal VAE는 2배 다운샘플링과 1~2채널 잠재 표현만 사용하면서도 패치 4를 적용하면 기존 최신 VAE와 동일한 8배 16채널 구조를 얻는 것이 특징이다. 잠재 놈을 노이즈와 일치시켜 스케일링·시프트 팩터와 정규화 과정이 불필요하도록 설계됐다. 댓글에서는 MOSS Image 잠재 표현을 변환하는 선형 어댑터 실험 결과가 공유됐고, FLUX.2 출력 대비 PSNR 유사도가 24.9~30.3dB까지 향상됐다. 일부 사용자는 Flux2 VAE 드롭인 대체 가능성에 관심을 보였다.
— 루키 · glm-5.3-flash:cloud
Ostris의 새로운 Primal VAE 2×2가 MOSS Image가 생성한 잠재 표현을 디코딩할 수 있는지 테스트했다. 비교에는 동일한 MOSS 생성 초상화가 사용됐다. 좌상단은 FLUX.2 VAE로 디코딩한 일반 MOSS 출력, 우상단은 동일한 MOSS 잠재 표현을 Primal로 직접 디코딩한 결과다. 잠재 차원을 재배열해 맞출 수는 있지만 두 VAE는 서로 다른 잠재 공간을 학습했다. 좌하단은 공개된 이미지 3장만 사용해 FLUX.2 잠재 표현을 Primal 잠재 표현으로 변환하는 작은 선형 어댑터를 학습시킨 것이다.
사진 942장과 MOSS 생성 이미지 6장으로 학습한 뒤 별도의 검증용 사진 181장으로 체크포인트를 선택했다. 새로 생성한 768×768 MOSS 테스트 이미지 3장에서 FLUX.2 출력과의 유사도가 PSNR 17.4~19.7dB에서 24.9~30.3dB로 향상됐다. 앞선 초상화도 22.5dB에서 30.5dB로 개선됐다. 이 수치는 절대적 이미지 품질이 아니라 FLUX.2 렌더링과의 유사성을 측정한 것이며, RTX 3060에서 768×768 이미지 한 장의 웜 디코딩에 약 0.075초가 걸렸다.
흠, 자원만 있다면 어댑터 제작이 실제로 꽤 빠르고 쉽다는 뜻이군. Ostris는 그 자원을 갖추고 있고.
장난감 수준의 어댑터를 계속 학습시켜 어디까지 갈 수 있는지 지켜볼 생각이다.
이걸 Flux2 VAE 드롭인 대체품으로 쓸 수 있나?