MOSS 학습 문제에 대한 잠재적 해결책
원문 제목 — A potential fix for MOSS training issues....
📄 전문 번역
월요일 아침 업데이트 요약: 60 설정이 매우 잘 작동했고, 이후 계속 사용해온 30 설정은 더 나은 결과를 보인다. 30은 구도 학습을 유지하면서 Krea 2와 Qwen Image 2.1 학습 스케줄과 비슷한 수준으로 세부 디테일에 주의를 기울이는 좋은 균형점이다. 월요일 오후 수정: 지금까지는 30이 가장 좋은 설정이다. 이날 60과 30으로 학습을 진행한 결과 30은 약 300~400 스텝 후 앞서기 시작해 그 우위를 유지했고, 어떤 모델보다도 이 데이터셋에서 최고 수준의 유사도를 기록했으며 ComfyUI에서도 동일하게 적용된다. 구도 학습의 균형도 더 잘 잡아준다. MOSS의 기본값인 11%보다 훨씬 낮은 값으로 구도 전용 학습에 활용할 수 있다는 점도 흥미로우며, 이 컨트롤을 Fizgig의 다른 모델에도 열어볼 계획이다. Fizgig의 기본값은 이제 30이다. Kromoss 관련해서는 많은 테스트 끝에 여러 면에서 훌륭하지만 학습 베이스로 쓸 때 몇 가지 문제가 확인되었다. 첫째, LoRA가 베이스 상태에서 700~800 스텝 안에 붕괴해 학습용으로는 적합하지 않다. 둘째, LoRA를 너무 다르게 렌더링해 프리뷰 모델로도 잘 작동하지 않는다. 셋째, Comfy에서 사용할 LoRA를 Kromoss로 학습할 때 활용할 '컨텍스트 LoRA'를 만든다는 아이디어가 있어 곧 후속 소식을 전할 예정이다.
원문: 글을 쓰는 시점은 현지 시간 새벽 2시 43분이다. 잠자리에 들었다가 MiniMax H3 학습에서 얻은 결과가 떠올라 다시 일어났다. H3에서는 유사도가 제대로 나오려면 노이즈 범위 중 깨끗한 쪽 끝, 즉 얼굴과 세부 디테일이 다듬어지는 구간에 배정되는 학습 스텝 비중을 조정해야 했다. 이에 MOSS의 학습 시그마를 Krea 2와 비교했더니 MiniMax 때와 같은 패턴이 확인되었다. MOSS의 기본 스케줄은 시그마 0.5 미만의 깨끗한 구간에 전체 스텝의 약 11%만 배정하는 반면 Krea 2는 18~28%를 배정한다. 나머지 스텝은 레이아웃과 구도에 할당되는데, 이것이 에포크 간 큰 등락과 유사도 확보의 어려움을 설명해준다. 이에 깨끗한 구간 비중을 조정하는 Clean-end share 옵션을 MOSS 학습에 추가한 v8.7.0 업데이트를 배포했으며, 기본값은 60%로 활성화되어 있다. 체크박스를 해제하면 모델 고유의 약 11%로 되돌아간다. Fizgig GitHub 저장소와 v8.7.0 릴리스 노트 링크도 함께 공유되었다.
수치는 동일한 53장 데이터셋, rank 16, 0.25 MP, LR 1e-4, 동일 시드 조건에서 3장의 기준 사진 대비 ArcFace 유사도로 측정되었다. 기존 스케줄(약 11%)은 에포크 1, 3, 6, 9, 12, 15, 30에서 각각 29%, 40%, 44%, 52%, 58%, 63%, 67%(최고치)를 기록했다. Clean-end 60%는 같은 지점에서 20%, 50%, 63%, 66%, 68%, 69%를 기록하고 아직 상승 중이었다. 60% 설정은 에포크 12에서 기존 실행의 최고치를 추월했고(약 640 스텝 대 1,590 스텝), 이후 에포크마다 10포인트씩 출렁이던 기존과 달리 68~69%에 안정적으로 머물렀다. 60은 실험적 수치이며 어느 쪽이든 확실한 증명을 위해 일부러 높게 잡았을 뿐이므로 커뮤니티와 함께 적정값을 찾아가면 좋겠다. 60은 아마 내려갈 것이고 Krea 2 수준인 약 30이 합리적인 다음 시도다. 발견한 결과를 이곳에 공유해달라. 어느 쪽이든 유사도가 결정되는 디테일 영역에 학습 스텝의 11%만 배정하는 것은 너무 낮다.
추가 업데이트: 60% 실행이 70 에포크까지 완료되었다. 요약하면 눈으로 봐도 유사도가 훌륭하고 꾸준히 상승했으며 수치로도 뒷받침된다. 동일 조건(53장 이미지, rank 16, 0.25 MP, LR 1e-4, 동일 시드, 3장 기준 사진 대비 ArcFace 유사도)에서 기존 스케줄(약 11%)은 에포크 3, 6, 9, 12, 15, 20, 30에서 각각 40%, 44%, 52%, 58%, 63%, 60%, 67%를 기록하고 이후 측정이 없었다. Clean-end 60%는 에포크 3, 6, 9, 12, 15, 20, 30, 40, 50, 60, 70에서 각각 50%, 63%, 66%, 68%, 69%, 67%, 71%, 71%, 69%, 74%, 76%를 기록했다. 기존 실행은 30 에포크에서 67%로 정점을 찍고 종료되었지만 60% 실행은 에포크 3부터 매 에포크 앞섰고 에포크 30 이후에도 상승을 이어가 최종 76%에 도달했다(에포크 66에도 기록). 변동폭도 더 작았다. 에포크 10~29 구간에서 기존 실행은 51~66% 사이를 오가며 에포크당 평균 약 2.4포인트씩 등락한 반면, 60% 실행은 63~70% 사이를 유지하며 에포크당 평균 약 1.5포인트에 그쳤다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Fizgig v8.7.0은 MOSS 학습 시 시그마 0.5 미만 깨끗한 구간에 배정되는 스텝 비중을 조정하는 Clean-end share 옵션을 추가했으며, 기존 약 11% 대비 60% 설정에서 ArcFace 유사도가 67%에서 76%로 향상되었다. 이후 테스트에서 30 설정이 약 300~400 스텝 이후 더 앞서며 구도와 디테일의 균형이 좋아 Fizgig의 새 기본값이 되었다. 한편 Kromoss는 베이스 학습 시 LoRA가 700~800 스텝 내 붕괴하고 프리뷰 모델로도 부적합해 학습 기반으로는 제한적인 것으로 평가되었다.
— 루키 · glm-5.3-flash:cloud
좋은 작업 계속 이어가기 바란다.
감사하다! 이 기회에 최상위 댓글을 빌려 말하자면, 본문 상단에 추가한 업데이트대로 내 테스트에서도 이 변경이 문제를 해결한 것으로 보이며 다른 사용자들의 결과가 궁금하다. 60은 매우 높은 수치이므로 적정값을 찾아볼 가치가 있고, 30이 구도 인식의 스위트 스팟일 수 있다. 수정: 지금까지는 30이 가장 좋은 설정이다. 오늘 60과 30으로 학습한 결과 30은 약 300~400 스텝 후 앞서기 시작해 그 상태를 유지했고, 어떤 모델에서도 이 데이터셋으로 얻은 것 중 최고 수준의 유사도를 보여줬다. 구도 학습의 균형도 더 잘 유지한다.
나도 같다. 어젯밤 60으로 실행을 시작했는데 몇 에포크가 다소 높아 보여 30으로 다시 시작해 밤새 돌렸다. 아직 출력을 테스트 중이지만 지난 며칠간 같은 스타일 LoRA를 학습한 약 8번의 시도 중 가장 일관된 결과다. 학습 스케줄에 대한 훌륭한 통찰이다.
작동해서 기쁘다. 나는 오늘 네 번째 학습을 진행 중인데 매우 일관된 느낌이다.
Moss 학습 탭에서 이 게시글로 연결되는 링크를 추가했다. 해당 입력란의 적정값을 논의하고 찾기 위해서다.