이 프로젝트의 목표는 다른 사람의 모델을 파인튜닝하는 것이 아니라 플로우 모델을 처음부터 학습시키는 실전 경험이었다. 그래서 210M 파라미터 확산 트랜스포머를 직접 만들어 학습시켰는데, 256² 해상도의 큐레이션 이미지 420만 장과 FLUX.2 VAE 위에서의 rectified flow, 텍스트 인코더로는 flan-t5-base(최대 128토큰)를 사용했다. 사전학습된 부분은 이 두 가지 고정 요소뿐이며, 트랜스포머와 학습 레시피, 데이터 파이프라인, 평가는 모두 직접 구축한 것이다. 공개된 영상은 RTX PRO 6000 한 장에서 3.5일간 진행된 학습의 모든 체크포인트에서 동일한 여섯 개 프롬프트와 시드로 생성한 결과다.

가장 중요했던 요소는 발견한 순서대로 다음과 같다. 첫째, 실제로 이미지에 맞는 캡션이다. 처음 시도한 웹 크롤링 데이터는 모델 성능을 오히려 악화시켰고, 좋은 캡션이 붙은 큐레이션 사진으로 바꾸면서 해결됐다. 둘째, 32채널 잠재 표현을 위한 타임스텝 시프트와 정사각형 크롭 대신 첫 단계부터 적용한 종횡비 버킷이다. 셋째, 학습된 널 어텐션 슬롯을 갖는 레지스터 토큰으로, 널 슬롯이 크로스 어텐션의 약 90%를 흡수한 점은 놀라웠다고 밝혔다. 넷째, 추론뿐 아니라 학습에도 torch.compile을 적용해 2.4배 빨라졌다.

학습 손실은 첫날 이후 더 이상 의미 있는 정보를 주지 않는 반면 이미지 품질은 계속 나아졌기 때문에, 대신 FID와 검출기 기반 객체 정확도, 인간 선호도 모델을 추적했다고 설명했다.

브라우저에서 직접 시험해볼 수 있으며, 가중치는 CC BY-NC 라이선스로 공개했다. 코드와 모든 결정의 근거, 대시보드, 어텐션 플레이그라운드, 상세 기술 문서도 함께 공개됐다.

다음 단계로는 실패 그리드를 목표 목록 삼아 강화학습 기법인 Flow-GRPO로 파인튜닝할 계획이다. 소규모 모델을 처음부터 학습시켜본 경험이 있는 사용자들에게 이 규모에서 무엇을 다르게 했을지, RL 단계에서 어떤 보상부터 시작할지 의견을 구하고 있으며, 데이터나 레시피에 관한 질문에는 무엇이든 답하겠다고 밝혔다.