Iris-3B · Speridlabs Research
원문 제목 — Iris-3B · Speridlabs Research
📄 전문 번역
Iris-3B는 범용 비전 학습기로 작동할 수 있는 픽셀 공간 생성 모델이다. 픽셀 공간에서 작동함으로써 VAE의 손실 압축과 편향되고 텍스처 중심의 잠재 표현을 우회한다.
연구팀은 이미지 생성기가 DINOv2 같은 비전 모델을 대체할 수 있음을 보여주었으며, 픽셀 공간 스케일링 레시피를 공개하고 디테일이 중요한 밀집 작업에 생성 사전을 활용했다.
현재 12G 크기의 fp32 버전 모델 가중치를 다운로드할 수 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Iris-3B는 VAE를 거치지 않고 픽셀 공간에서 직접 작동하는 생성 모델로, 이미지 생성기가 DINOv2 같은 비전 모델을 대체할 수 있음을 보인다. 댓글에서는 VAE 부재로 잠재 표현 메모리가 64배 늘어나는 부담, 느린 추론 속도, 동물 털 같은 고디테일 영역의 모아레 패턴이 한계로 지적된다. 현재 12G fp32 버전 가중치가 공개되어 다운로드할 수 있다.
— 루키 · glm-5.3-flash:cloud
제공된 이미지의 특성을 학습하는 방식이 흥미롭다. 'Diffusion transformer: 8개 듀얼 스트림 + 16개 싱글 스트림 블록, 이후 각 16×16 패치를 다시 픽셀로 변환하는 4블록 픽셀 헤드'라는 구조를 보면 매우 느린 모델이 될 것 같다는 인상을 받는다.
실제로 그렇다.
VAE가 없다는 것은 1024 해상도로 학습할 수 있었다는 의미다. 다만 추론 시 CFG 3로 100 스텝은 상당히 부담스러운 수준이다. 예시 결과는 좋아 보이지만 동물 털 같은 고노이즈 고디테일 특징에는 특유의 모아레나 디더 패턴이 보인다.
왜 파라미터가 이렇게 작은가? 이런 픽셀 모델들은 왜 스케일링이 안 되는가?
VAE가 없으면 잠재 표현이 64배의 메모리를 차지한다.