Krea2 학습을 위하여
원문 제목 — For the sake of training Krea2
📄 전문 번역
제목 그대로, Krea2에서 LoRA를 학습할 때는 설정에서 해당 레이어들을 반드시 제외해야 한다. textfusion 내부의 MLP들이 학습 중 발산하면서 LoRA를 망가뜨리는 원인이 되기 때문이다. 따라서 캐릭터나 스타일, 나아가 어떤 범용 LoRA를 만들 때든 이 레이어들을 학습 대상에 포함해서는 안 된다.
제외 대상은 ignore_if_contains 항목 아래의 txtfusion.layerwise_blocks.0, txtfusion.layerwise_blocks.1, txtfusion.projector, txtfusion.refiner_blocks.0, txtfusion.refiner_blocks.1, txtmlp 여섯 가지다. 작성자는 txtfusion.projector와 txtmlp는 학습 경로에 포함되어 있지 않지만 만일을 위해 함께 넣었다고 설명한다.
작성자는 또한 지난주 언급했던 프로젝트를 여전히 진행 중이며 잊지 않았다고 덧붙였다. 이 게시물은 사용자 Capitan01R에 의해 제출되었다.
이어서 설정 구조를 보여주기 위한 전체 설정 파일이 공개되었다. 공개된 설정은 ai-toolkit의 diffusion_trainer를 사용하는 예시 LoRA 학습 구성으로, LoRA 네트워크는 linear 64, linear_alpha 64에 lokr_full_rank를 활성화하고 앞서 언급한 여섯 레이어를 ignore_if_contains로 제외하도록 되어 있다. 학습은 배치 크기 1, 3000스텝, adamw8bit 옵티마이저, 학습률 0.0001, flowmatch 노이즈 스케줄러, MSE 손실, EMA 감쇠 0.99로 진행되며 UNet만 학습하고 텍스트 인코더는 학습하지 않는다. 모델은 krea/Krea-2-Raw를 arch krea2로 불러오며, 해상도 1024, bf16 정밀도로 100스텝마다 저장하고 1000스텝마다 guidance_scale 4와 30스텝 샘플링으로 1024x1024 샘플을 생성하도록 설정되어 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Krea2 모델의 LoRA 학습 시 TextFusion 내부 MLP 레이어가 학습 중 발산하며 LoRA 품질을 저하시킨다는 지적과 함께, 해당 레이어를 제외하는 ignore_if_contains 설정이 담긴 ai-toolkit용 전체 학습 설정이 공유된 글이다. 댓글에서는 캐릭터와 스타일 외에 어떤 LoRA가 해당 레이어를 사용해야 하는지에 대한 질문과, fizgig 트레이너는 이 블록을 학습해도 LoRA가 손상되지 않는다는 반박이 오갔다. 원글 작성자로 보이는 사용자는 문서가 아닌 레이어 수준의 직접 테스트에서 MLP 델타의 불균형한 증폭이 LoRA 열화와 연결된다고 답했다.
— 루키 · glm-5.3-flash:cloud
캐릭터, 스타일 또는 '일반용' LoRA 학습 시 해당 레이어를 사용하지 말아야 한다고 하셨는데, 그렇다면 이 레이어들을 사용해야 하는 종류의 LoRA도 존재하는 건가요? 캐릭터와 스타일을 제외하면 '일반용'에 해당하는 것이 무엇인지, 그리고 일반용의 범위 밖에는 무엇이 있는지 정확히 알기 어렵습니다.
이 문제가 다뤄지도록 FiIzgig에 PR을 제출해 주실 수 있을까요?
게시물의 조언은 fizgig에는 해당되지 않으며, 우리의 레시피는 해당 블록들을 학습시켜도 LoRA를 손상시키지 않습니다. 실제로 지난주에 이에 대한 광범위한 테스트를 진행했습니다 :) 수정: 실제로 fizgig LoRA로 간단한 테스트를 해볼 수 있는데, repair studio에서 LoRA를 불러온 뒤 textfusion 행의 체크를 해제했다가 다시 체크하거나 강도를 두 배로 올려보세요. 다른 트레이너가 어떻게 설정되어 있는지는 단정할 수 없고, 트레이너마다 상호 얽힌 변수가 많아 이 블록들을 학습시키는 것이 문제가 되는 설정도 분명 있겠지만 fizgig는 그렇지 않습니다. 참고로 문서의 해당 줄들은...
바로 이 사람입니다.... 너무 저평가받고 있네요.
항상 좋은 인사이트를 들을 수 있어 감사합니다 🙏 다만 제 주장은 문서만 읽거나 기본 트레이너에 어떤 모듈이 포함되어 있는지 살펴본 것이 아니라, Krea2의 TextFusion 경로에 대한 레이어 수준의 직접 테스트에서 나온 것입니다. 저는 TextFusion 내부 MLP들을 따로 분리해 LoRA 학습 중 어떤 역할을 하는지 측정해 왔고, 그 결과 이 MLP 델타들이 불균형하게 증폭될 수 있으며 그 증폭이 결과 LoRA에서 관찰된 열화와 직접 연결되어 있음을 발견했습니다. 그래서 캐릭터/스타일/범용 LoRA에서는 이들을 제외할 것을 권장하는 것입니다. 이것은...