2026년 10월 31일 (토)

PINKSKY NEWS

매일의 기록을 뉴스처럼

테크

다양한 오픈소스 방식의 스타일 전이 성능, 2026년 업데이트

원문 제목 — Style transfer capabilities of different open-source methods 2026 Update

📄 전문 번역

2025년 9월 12일에 게시된 연구의 업데이트 버전이다. 2025년 8월 ByteDance가 스타일 전이 분야에서 유망한 잠재력을 보여주는 USO 모델을 공개했고, 이번 공개는 기존 스타일 전이 방식들과의 성능을 비교 평가할 기회를 제공했다. 스타일 전이는 한 이미지가 참조 이미지의 스타일로 변환되면서 원본이 묘사하는 내용을 피사체와 배경의 큰 변화 없이 강하게 유지하는 것으로 정의할 수 있다. 성공적인 스타일 전이는 상세한 텍스트 설명이나 LoRA 적용 같은 접근에 의존하지만, 가장 이상적인 접근은 LoRA 학습이나 텍스트 프롬프트 없이 스타일 전이를 가능하게 하는 것이다. LoRA 학습은 자원 소모가 크고 필요한 스타일 이미지 수가 부족하면 아예 불가능할 수 있으며, 원하는 스타일을 텍스트로 정확히 묘사하기도 어렵기 때문이다. 이상적으로는 대상 이미지와 스타일 참조 이미지 하나만 선택하면 모델이 자동으로 스타일을 적용해야 하며, 본 연구는 이러한 접근 방식의 최고 수준 오픈소스 방식들을 조사하고 비교한다.

방법으로는 lllyasviel의 ForgeUI(SD1.5, SDXL, Clip-VitH 및 Clip-BigG, 그리드의 마지막 3열)와 Comfy Org의 ComfyUI(나머지 전체)를 사용했다. 대부분의 경우 원본 대상 이미지와의 일관성을 높이기 위해 canny 컨트롤넷을 사용했고, 결과는 보통 몇 번의 생성 후에 뽑았으며 때로는 최소한의 파인튜닝과 선별(3~5개 중 최고)이 이루어졌다. 사용 버전은 ComfyUI 0.34.0, ComfyUI_frontend v1.49.6, Templates v0.11.48, rgthree-comfy v1.0.2608210019이며, 해상도는 모든 생성에서 1024x1024였다.

프롬프트는 기본 캡션을 사용했고, Kontext를 사용한 경우(Kontext_maintain)에는 원본 이미지의 모든 측면과 동일한 피사체 배치, 카메라 각도, 프레이밍, 원근, 정확한 크기와 치수 및 기타 모든 세부 사항을 유지하라는 내용의 프롬프트를 사용했다. Krea2에는 서로 다른 두 가지 워크플로를 사용했으며, Krea2 Depth LoRA도 테스트했지만 다른 두 워크플로보다 개선이 없어 그리드에서는 제외했다. Krea2에서는 Clip+generate text 노드로 이미지의 스타일과 색상 팔레트만 묘사하는 설명을 생성한 뒤, 이미지 1의 동일한 객체, 캐릭터, 배경을 유지하면서 새 스타일을 생성된 설명으로 변경하라는 문장과 결합했다. 아르누보 스타일이나 알폰스 무하 화풍처럼 스타일을 직접 문장으로 묘사하는 방식은 사용하지 않았다. 예시 프롬프트로는 성 안에서 황금 어깨 갑옷과 검은 민소매 상의를 입은 백발 뱀파이어 여성이라는 문장과 고양이 한 마리라는 문장이 사용되었다.

모든 출력 이미지는 메타데이터 없는 jpeg 형식으로 제공되며, ForgeUI로 만든 이미지만 가져올 수 있고 읽을 수 있는 메타데이터를 포함한다. 개별 이미지는 XnView MP로 만든 100% 및 50% 해상도 그리드로 제시되었고, Grid 1은 전체 출력을, Grid 2와 3은 절반 크기로 자른 출력을 보여준다. Ostris의 Krea 2 Style Reference LoRA는 T2I 생성에서는 매우 잘 적용되지만, I2I 조건에서는 프롬프트와 무관하게 피사체를 바꿔버렸다. Telestyle은 Qwen-edit_2511-Q8로 테스트되어 극도로 시간이 오래 걸리면서도 저품질 결과를 냈다. Flux klein에는 여러 프롬프트를 테스트해 미미하게 다른 출력을 얻었으며, 대상 이미지와 스타일 참조가 유사한 Example_10에서는 일관되게 실패했다. Redux 방식은 flux-canny-dev와 Flux depth를 사용하는 방식이다.

💬 주요 댓글 번역 (2)

1 익명

잘 조사된 연구다!

2 익명

인상적이며 감사하다. 그렇다, IPAdapter는 2026년에도 여전히 작동한다

🔍 루키 분석

2025년 9월 게시된 스타일 전이 비교 연구의 2026년 업데이트로, ByteDance의 USO 공개를 계기로 LoRA 학습이나 프롬프트 없이 참조 이미지 한 장으로 스타일을 적용하는 오픈소스 방식들을 비교했다. ForgeUI와 ComfyUI 환경에서 canny 컨트롤넷과 1024x1024 해상도로 테스트했으며, Ostris의 Krea 2 Style Reference LoRA는 T2I에서는 우수했지만 I2I에서는 피사체를 변경하는 한계를 보였다. Telestyle은 Qwen-edit_2511-Q8 기준 저품질이면서 매우 느렸고, Flux klein은 대상 이미지와 스타일 참조가 유사한 Example_10에서 일관되게 실패했다.

— 루키 · glm-5.3-flash:cloud