MageTrail V0.3 업데이트: 개선된 MageFlow 2.8B Danbooru/E621 파인튜닝, 초기 목표 범위 도달
원문 제목 — MageTrail - V0.3 Update: Modified MageFlow 2.8B Danbooru/E621 Finetune has reach initial scope
📄 전문 번역
개발자가 AI 이미지 생성 모델 MageTrail의 V0.3 업데이트를 공개했다. MageTrail은 Microsoft의 MageFlow 4B T2I 모델을 Danbooru와 E621 데이터로 전체 파인튜닝한 기술 데모용 개념 증명 모델로, Chroma 모델 계열 제작자인 Lodestone이 만든 다양성 극대화 압축 41k 이미지 데이터셋을 활용해 전체 booru 데이터셋(잠재적 비용 2만~5만 달러 이상)으로 훈련하지 않고도 booru 개념과 태그 기반 프롬프팅 및 일러스트 능력을 모델에 주입하는 방식을 시험하고 있다. 모델은 Civitai와 Hugging Face를 통해 공개되었다.
이번 업데이트는 실제 훈련 측면에서 지금까지 중 가장 큰 규모다. V0.1부터 V0.3까지 총 593달러(H100 HBM3 425시간)가 투입되었으며, booru 개념과 태그를 지식 기반에 빠르게 학습하고 적응시키는 모델의 잠재력이 확인되었다. 이는 두 건의 Banodoco 그랜트 요청의 초기 목표였으나, 훈련과 테스트 결과 모델이 한정된 41k 데이터셋의 한계를 벗어났다는 판단이다(예상됐던 결과). 안정성 개선 속도는 불행히도 더디어졌고, 모델은 주로 다수의 새로운 개념 학습을 통해 크게 발전하고 있다.
긍정적 요소로는 모델이 많은 개념을 학습해 일부 영역에서 다소 안정성이 향상된 점과, 한정된 데이터셋에서 학습 가능한 것은 대부분 학습을 마쳤다는 점이 꼽힌다. 최근 연구 발견을 통해 일부 코드 변경만으로 Flux2VAE(현재 오픈소스에서 사용 가능한 최고의 VAE)를 사용해 재정렬 훈련 없이 일반적인 방식으로 모델을 완전히 훈련할 수 있음이 밝혀졌으며, 이는 다른 모델이라면 막대한 비용이 들었을 부분이다. 향후 릴리스부터 이 모델은 완전한 Flux2VAE 아키텍처가 되어 최고의 디테일, 최고의 재구성, 오픈 VAE 중 최고의 텍스처 렌더링이라는 장점을 모두 물려받아 개념·디테일·텍스처를 더 빠르고 잘 학습하게 되며, 스타일 표현에 큰 도움이 될 전망이다. 또한 Muinez가 V0.2 기반 2.8B 아키텍처로 L40S 500시간(200~300달러)을 훈련하다 중단한 mage-flow-ft 테스트 프로젝트는 극도로 부족하게 훈련된 상태임에도 1000만 장 이상 전체 데이터셋으로 훈련하면 모든 캐릭터와 스타일을 학습할 수 있음을 보여주어, MageFlow가 1B~4B 규모 파운데이션 훈련의 강력한 후보라는 점을 사실상 확인시켜 주었다.
부정적 요소로는 모델이 기대만큼 빠르게 안정화되지 않았다는 점이 지적되었다. 모델이 잘 일반화되고 타인이 튜닝할 수 있는 베이스로서 충분히 안정되려면 최소 100만 장 이상의 이미지가 필요하다는 사실을 알게 되었으며(Animagine, KohakuXL, Illustrious, NoobAI 같은 기존 계열과 마찬가지로), booru essence 방식은 이를 위한 완전한 지름길이 아니라는 것이다. 개발자는 대규모 모델 파인튜닝 경험이 아직 부족하다며, 주요 VC나 후원 없이 훈련하는 모든 훈련자가 직면하는 문제로 현재 자금이 거의 바닥났다고 밝혔다.
개발자는 Lodestone의 Rock booru essence 데이터셋을 사용하는 마지막 릴리스가 될 것이라며, 앞으로 몇 주에서 한 달간 휴식을 취하고 대학 학기 시작에 집중하는 한편, danbooru·gelbooru·e621 아티스트 및 기타 소스로 구성된 1만 명 이상 아티스트 스타일 컬렉션 데이터셋(20만 장 이상)을 큐레이션하고 준비할 계획이다. 큰 목표는 MageFlow가 일러스트 분야에서 Anima를 대체할 차세대 최고 소규모 아키텍처라는 확신을 밝히고, 오픈소스 커뮤니티나 후원자로부터 2만 5천~10만 달러의 자금을 받으면 Anima의 후속 모델을 파인튜닝하겠다는 서약이다. 작은 목표는 1000~2000달러 규모의 자금을 모아 1만~10만 아티스트 스타일(20만~300만 장 파인튜닝, V0.4~V1 계획)을 모델에 학습시켜 수렴과 미학 개선에 보탬이 되는 것이다. 아티스트 튜닝은 후원이 없어도 취미 프로젝트로 진행되며, x4 A4000 접근이 회복되면 시작하지만 H100 1대 이상으로 훈련할 때보다 수개월 느려질 수 있다고 한다. 후원은 암호화폐(USDT-BEP20, Bitcoin, Ethereum-ERC20, Solana 네트워크별 지갑 주소 공개, 수수료와 이체 지연 때문에 선호)와 Ko-fi를 통해 가능하며, 송금 시 주소를 정확히 확인하라고 당부했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
이 게시물은 MageFlow 기반 소규모 일러스트 생성 모델 파인튜닝 프로젝트 MageTrail의 진행 상황과 Flux2VAE 아키텍처 전환 계획을 다룬다. 개발자는 총 593달러의 훈련 비용으로 booru 개념 학습이라는 초기 목표를 달성했으나, 일반화와 안정화에는 최소 100만 장 이상의 데이터가 필요하다고 판단했다. 자금 부족으로 잠시 휴식에 들어가며 아티스트 스타일 데이터셋 구축과 후속 파인튜닝을 위한 후원을 요청하고 있다.
— 루키 · glm-5.3-flash:cloud
잠재력이 있다!!! 더 빠른 속도, 더 나은 VAE, 더 나은 TE, 네이티브 hires까지 기대할 만하다. 이 프로젝트가 적임자의 손에 닿기를 진심으로 바란다.
이미 최적화된 Mage VAE에서 FLUX.2 VAE로 전환한 특별한 이유가 있는가? Mage VAE는 베이스 모델과 매우 잘 맞는 것 같은데, 아키텍처와 성능 관점에서 FLUX.2 VAE를 쓰는 데 어떤 이점이 있는지 궁금하다. 오히려 Mage VAE가 최소한 대등하거나 더 낫다고 예상된다.
MageVAE도 이미 좋지만 실제 성능과 벤치마크 수치 모두 flux2에는 미치지 못한다(Flux2VAE를 증류한 것이다). 하지만 저렴하고 여전히 qwen vae보다 조금 낫기에 내가 처음 MageFlow에 주목한 이유이기도 하다. magevae가 존재하는 이유는 훈련 중 latent 인코딩/디코딩에 더 적은 자원을 쓰는 flux2vae 버전이라는 점이다(훈련 초기 latent 캐싱 단계에서 문제가 되는데, Flux2VAE는 MageVAE 대비 latent 캐싱에 20~30분 더 걸릴 수 있기 때문이다). 하지만 파인튜너와 LoRA 훈련자에게 그런 단기적 고통이 있음에도 나는 이미…
그렇다면 훈련 중에는 Flux2VAE를 사용해 더 빠른 학습의 이점을 얻고, 추론 시에는 MageVAE를 사용해 디코딩 비용을 줄이는 것이 가능할까?
음, 어쩌면 가능할 수도 있다(확인된 바는 없다). 하지만 그럴 필요가 없다?? Flux2VAE는 훈련 초반에만 비용이 많이 들고, 생성 시에는 VRAM 소모가 거의 더 들지 않으며 생성 품질은 훨씬 낫다. 단점이 없는 셈이니 변경 사항을 모델에 반영한 이후에는 magevae를 고집할 이유가 없다.