Moss Serenity (파인튜닝)
원문 제목 — Moss Serenity (finetune)
💬 주요 댓글 번역 (5)
🔍 루키 분석
Reddit 사용자 malcolmrey가 MOSS Base를 실제로 파인튜닝한 모델 Moss Serenity를 공개했다. 이 모델은 LoRA 병합이 아닌 순수 파인튜닝 결과물로, HuggingFace에서 베이스 및 int8 버전과 추출된 LoRA 형태로 배포된다. RTX 5090에서 스텝당 1.3초가 소요되며, 현재까지 24000 스텝 학습에 8.5시간 이상이 걸렸다고 한다. 학습에는 fp16 버전이 필요하며, 512 해상도로 학습했음에도 더 큰 해상도에서도 잘 작동한다고 작성자는 밝혔다.
— 루키 · glm-5.3-flash:cloud
안녕하세요! 2등도 여전히 좋은 성적이죠 :) 바로 Moss Serenity를 소개하겠습니다. SD1.5의 황금기를 기억하는 분들이라면 제 Civitai 모델을 기억할지도 모릅니다 :) HuggingFace에 공개되어 있으며, 베이스 버전과 int8 버전, 그리고 추출된 LoRA들이 있습니다(1GB 버전이 가장 좋고 다른 버전은 일부 정보가 손실됩니다). 이것은 LoRA를 병합한 것이 아니라 MOSS Base의 실제 파인튜닝입니다. 현재 24000 학습 스텝에 도달했으며 앞으로 더 학습될 예정입니다. 개념 증명 단계였지만 이미 사용 가능한 수준입니다. 모델을 가르치는 것 외에도...
파인튜닝에 대해 질문이 있습니다. 학습에 얼마나 걸리고 VRAM이 얼마나 필요한가요? fp8이나 q4 양자화로 학습할 수 있나요?
fp16 버전이 필요하다고 확실히 생각합니다. 코드를 수정하면 fp8로 학습할 수 있을 것 같지만 품질 손실이 얼마나 클지는 모르겠습니다. 소요 시간은 얼마나 학습할지에 따라 달라지는데, 아직 완료하지 않았고 잘 작동하는지 확인하려고 첫 스냅샷을 만들었을 뿐입니다(잘 작동합니다). 5090에서는 스텝당 1.3초가 걸리며, 지금까지 24000 스텝을 진행해 총 8.5시간 이상 걸렸습니다. 중간에 중단해야 했고 300 스텝마다 샘플 생성에 매번 2분씩 걸렸기 때문에 실제로는 더 오래 걸렸습니다. 데이터셋 해상도에 따라 다른데, 저는...
512 해상도로 학습했다면 이 파인튜닝 모델로 생성할 때 최적 해상도도 512라는 뜻인가요? 아니면 더 큰 해상도에서도 잘 작동하나요?
더 큰 해상도에서도 잘 작동합니다 :)