지난 몇 달간 Krea 2용 캐릭터 LoRA를 대량으로 훈련시킨 결과 훈련량이 많다고 유사도가 좋아지는 것은 아니라는 사실이 빠르게 드러났다. 가장 좋은 LoRA 일부는 비교적 작고 깨끗한 데이터셋에서 나왔고, 일부 대형 데이터셋은 시각적 노이즈, 일관성 없는 스타일, 나쁜 각도, 반복 이미지 때문에 오히려 성능이 떨어졌다. 데이터셋 품질이 크기보다 중요하며, 진짜 유용한 이미지 30장이 평범한 이미지 100장보다 낫다. 데이터셋의 가장 큰 문제는 거의 동일한 중복 이미지 과다, 과도한 필터나 얼굴 편집, 저해상도 이미지, 특정 얼굴 각도 편중, 나이와 외모가 크게 다른 이미지, 피사체가 작은 단체 사진, 한 번의 촬영에서 나온 이미지 과다, 헤어·메이크업·조명·표정이 거의 동일한 이미지다. 모델은 사람을 학습할 만큼의 일관성과 정체성의 실체를 파악할 만큼의 변화를 동시에 필요로 한다.

얼굴 커버리지만으로는 부족하다. LoRA가 얼굴은 완벽히 재현하면서도 어깨 아래 모습은 전혀 모르는 경우가 있어, 유용한 캐릭터 LoRA를 만들려면 클로즈업 얼굴 샷, 흉상, 허리 위, 전신, 정면, 측면, 프로필, 후면, 3/4 각도, 다양한 표정과 조명, 다양한 의상을 섞어 넣어야 한다. 목표는 단순히 얼굴을 인식하는 것이 아니라 그 사람을 이해하는 것이다. 유사한 이미지가 너무 많으면 LoRA의 유연성도 떨어지는데, 데이터셋의 70%가 같은 헤어스타일, 카메라 각도, 의상, 표정이면 모델은 이를 정체성의 일부로 간주해 모든 생성물에서 재현하려 한다. 특히 Google 이미지 검색이 같은 보도 사진 몇 장만 반복해서 보여주는 연예인과 크리에이터의 경우 두드러지며, 훈련 전 중복 제거에 훨씬 많은 노력을 쓰고 있다.

마지막 에포크가 자동으로 최고는 아니다. 예전에는 고정된 종료 지점까지 훈련하고 최종 체크포인트를 완성본으로 가정했지만, 이제는 여러 에포크를 저장하고 개별적으로 테스트한다. 이전 체크포인트가 얼굴 유사도, 자연스러운 피부, 프롬프트 유연성 측면에서 더 나은 경우가 매우 흔하며, 이후 에포크는 기술적으로 더 강해 보여도 실제로는 과훈련된 상태인 경우가 많다. 이제 훈련 자체는 절반에 불과하고 체크포인트 선택이 훈련의 일부다. 또한 데이터셋의 편안한 영역 밖에서 LoRA를 테스트해야 한다. 훈련에서 본 것과 같은 종류의 이미지를 생성하는 것은 큰 의미가 없으며, 클로즈업 얼굴 정확도, 캐주얼과 정장 의상, 다양한 헤어스타일, 전신 샷, 운동 자세, 특이한 카메라 각도, 다양한 조명, 실내외 장면, 측면과 후면 3/4 뷰 등을 검증하고, 프롬프트가 바뀌자마자 정체성이 사라지면 완성된 것으로 간주하지 않는다.

얼굴이 훌륭해도 체형은 드리프트할 수 있다. Krea 2는 얼굴 정체성을 매우 잘 보존하면서 일반적인 체형으로 흐르는 경우가 있어, 검증 과정에서 신체 확인 프롬프트를 의도적으로 사용하기 시작했다. 운동선수의 경우 키, 어깨 너비, 다리 비율, 근육량, 전체 골격을 학습했는지 확인하며, 얼굴은 유사도의 일부일 뿐이다. 트리거 단어는 생각보다 덜 중요한데, 명확한 트리거를 여전히 사용하지만 데이터셋 품질과 훈련 품질이 마법 같은 트리거 문구보다 훨씬 중요하다. 좋은 LoRA는 비밀 주문 같은 문단 없이도 그 사람을 재현해야 하며, 트리거는 캐릭터를 식별하고 프롬프트는 장면을 묘사해야 한다.

검증 이미지도 매우 중요하다. 이제 각 모델마다 일관된 테스트 이미지 세트를 생성해 기억에 의존하지 않고 에포크 12, 14, 16, 18, 20을 비교할 수 있으며, 출력물을 나란히 놓기 전까지는 차이가 미묘하다가 명확한 승자가 드러나기도 한다. 가장 큰 교훈은 LoRA 훈련이 사진을 올리고 훈련 버튼을 누르는 작업이 아니라는 점이며, 중요한 작업은 데이터셋 선정, 정리, 훈련, 체크포인트 비교, 검증의 순서이고 훈련 자체가 거의 가장 쉬운 부분이다. 작성자는 이 과정을 거치며 공개 Krea 2 캐릭터 LoRA 라이브러리를 구축 중이라고 밝혔고, 후속 게시물로 에포크 비교용 검증 프롬프트나 미훈련, 적정 훈련, 과훈련 예시를 공개할 수 있다고 덧붙였다.