KREA2에서 데이터셋 크기별 LoKR 실험, 이미지 몇 장이면 충분한가 검증한다
원문 제목 — I tried different dataset sizes on KREA2, to try to answer the age-old question, how many images do you need?
📄 전문 번역
합성 데이터셋(실존 인물이 아닌 AI 생성 여성이다)을 만들어 KREA2용 LoKR 세 종류를 학습시켰다. 하나는 이미지 3장만 사용했고, 다른 하나는 8장, 또 하나는 15장을 사용했다. 학습용 캡션에는 트리거 워드를 사용하지 않았다. 그녀를 젊은 한국 여성으로만 지칭하고 헤어스타일, 배경, 의상, 표정 등 주변의 모든 것을 상세히 묘사했다.
3장 LoKR은 1,000 스텝에서 좋은 유사도를 보였다. 8장은 1,440 스텝, 15장은 2,100 스텝이었다. 쇼케이스 샷 제작 워크플로는 다음과 같다. qwen3vl 4b 텍스트 인코더를 사용하는 krea2 int8, refusal LoRA 1.0, turbo 0.4(스타일에는 0.2), 16 스텝, CFG 2, euler/beta57, shift 3, 2MP에서 2:3 비율, Wan2.1 upscale2x VAE. 스타일 적용 시에는 LoKr 강도를 보통 1.2, 1.4 또는 1.6으로 올린다.
핵심 요약(TLDR)은 다음과 같다. KREA2에서는 이미지 3장만으로도 좋은 유사도를 달성하는 LoKR을 만들 수 있다. 다만 다양한 스타일에서 유사도를 유지하려면 데이터셋에 더 많은 이미지가 필요할 수 있다. 15장 LoKR로 일부 다른 스타일에 그녀를 담을 수는 있었지만, 갈색 머리의 예쁜 여성과 구별되는 뚜렷한 특징이 없었다(거의 모든 사진, 스타일 사진에서도 나타나는 스터드 귀걸이를 특징으로 치지 않는다면).
15장 LoKR은 어려운 각도, 위에서 내려찍은 샷, 어깨 너머 뒤돌아보는 샷, 옆모습 샷 등에서 우위를 보였다. 하지만 3분의 4 각도, 낮은 각도, 비치 샷 등 대부분의 각도에서는 모든 LoKR이 동률이었다. 이 실험이 관련 궁금증을 가진 이들에게 도움이 되길 바란다. 예컨대 필자는 LoRA를 만들고 싶은 캐릭터의 고품질 샷을 계속해서 찾아 헤맸는데, 어느 순간부터는 학습 속도만 늦추고 GPU를 대여하는 경우라면 비용만 늘리는 일이 된다.
전체 상세 글과 비교용으로 제작한 모든 사진은 아래 댓글에서 확인할 수 있다. 공개 차원에서 밝히자면 자신의 사이트로 연결되며 무료이지만 제휴 링크가 포함되어 있다. /u/SirToki 제출
💬 주요 댓글 번역 (5)
🔍 루키 분석
KREA2 기반 LoKR 학습에서 데이터셋 크기(3장, 8장, 15장)에 따른 유사도와 스타일 재현 차이를 비교한 실험 사례다. 트리거 워드 없는 캡션과 합성 데이터셋을 사용했으며, 3장만으로도 좋은 유사도를 얻을 수 있지만 다양한 각도와 스타일 대응에는 더 많은 이미지가 필요하다는 결론을 제시한다. 댓글에서는 조명과 각도 등 데이터셋 다양성 부족과 과적합 가능성이 지적되며 실험의 한계에 대한 논의가 이어졌다.
— 루키 · glm-5.3-flash:cloud
이런 식의 내용이 커뮤니티에 퍼지는 게 싫다. 이런 데이터셋으로는 좋은 LoRA를 학습할 수 없는데, 예시도 그 이유를 보여주지 못한다. 축하한다, 데이터셋에 있는 그대로 카메라를 바라보는 이미지를 여러 장 생성했을 뿐이다. 그건 좋은 LoRA의 증거가 아니다. 좋은 LoRA의 증거는 데이터셋에 없는 것을 얼마나 해낼 수 있는가다. 예컨대 측면, 후면, 다른 조명, 다른 매체 같은 것들이 진짜 좋은 LoRA를 학습한 것인지 과적합인지를 판단하게 해준다. 물론 3장짜리 LoRA를 오랫동안 학습시키면
피드백에 감사한다. 모든 실험에는 나름의 가치가 있다고 생각하지만, 이 부분을 더 잘 설명했어야 했다는 데는 동의한다. 이미지가 15장뿐이고 사진 종류가 다소 제한적이라 스타일을 잘 소화하지 못한다는 점을 확실히 설명해준다. 전체 데이터셋을 업로드해 두었다. 왜 나쁜지, 어떤 이미지가 부족한지 설명해준다면 감사할 것이고 나에게도 도움이 될 것이다. 내가 이 분야의 절대 최고는 아니라는 게 드러나더라도 토론하는 것을 좋아한다.
필요한 건 더 다양한 변화를 주는 것이다. 예컨대 옆모습 샷이 정확히 한 장뿐이고, 위나 아래에서 찍은 샷이 없으며, 전부 사진이다. 합성 데이터셋이면 한 가지 스타일이나 필름 종류에 제한될 필요가 없다. 물론 원하는 게 특정 방식의 한 얼굴이라면 그런 데이터셋도 괜찮다. 하지만 이미지가 몇 장 필요한지 논할 때는 '이 데이터셋에서 무엇을 학습할 수 있는가'를 고려해야 한다. 예컨대 LoRA가 옆모습이나 위에서 찍은 샷을 생성하지 못하는 건 신경 쓰지 않을 수 있지만, 실제로는
답변에 정말 감사한다. 먼저 뚜렷한 특징에 대해 짚고 싶다. 거기서 시작하고 싶었고 실존 인물이라면 훨씬 쉬웠겠지만, 합성 데이터셋으로는 만들기가 매우 어려웠다. 점, 문신, 흉터를 시도했지만 매번 특징이 흐트러져서 모델에 노이즈를 학습시키는 게 아닌가 걱정이었다. 흐트러진 특징을 사람들이 바로 알아차리고 실험 전체를 무시할까 우려했다. 둘째, 언급하고 인정해줘서 감사하다. 그 외 모든 것을 다양화하려고 노력했
Krea2를 논할 때 다양한 조명 조건을 아무리 강조해도 지나치지 않다. 단순하고 평면적인 조명의 원본 이미지는 Krea2에 너무나 빨리 구워져 버려서 순식간에 적절한 조명을 프롬프트로 지정하는 능력을 잃는다. 안타깝게도 이 테스트는 아무것도 증명하지 못한다. 이미지가 많다고 좋은 이미지는 아니기 때문이다. 그냥 이 순서를 따르면 된다. 크고 좋은 데이터셋 > 좋은 데이터셋 > 큰 데이터셋. 대상의 무작위 이미지를 데이터셋에 아무렇게나 넣는 건 사실상 가치가 없고, 제대로 큐레이션하지 않으면 대개 해가 이득보다 크다.