PixText: 생성 이미지 속 텍스트를 고치는 작고 빠른 모델
원문 제목 — PixText: a small, fast model for fixing text in generated images
📄 전문 번역
PixText는 매우 구체적인 불만에서 출발해 만들었다. 이미지는 훌륭하고 대부분의 텍스트도 맞지만, 몇 개의 뭉개진 단어나 한자 때문에 만족할 수 없는 상황이 바로 그것이다.
VAE 압축은 작은 텍스트 영역의 미세한 디테일을 잃을 수 있기 때문에, 모델을 픽셀 공간에서 직접 학습시켰다.
리파이너 또한 작고 빠르기를 지향했다. 파라미터는 10억 개 미만(약 0.95B)이며, 텍스트 인코더나 VAE가 필요 없고, MeanFlow를 사용해 단 4번의 샘플링 스텝만으로 텍스트를 다듬는다.
직접 사용해 보려면 레지스트리의 ComfyUI 노드, 바로 사용 가능한 ComfyUI 워크플로, 코드 및 설치 안내, 모델 가중치가 공개되어 있다.
여러분의 생각을 듣고 싶다. 피드백과 예시를 환영한다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
PixText는 생성 이미지에서 뭉개진 텍스트를 수정하기 위해 픽셀 공간에서 직접 학습된 약 0.95B 파라미터 규모의 리파이너 모델이다. VAE 압축으로 인한 소형 텍스트 영역의 디테일 손실을 피하기 위해 텍스트 인코더와 VAE 없이 MeanFlow 기반으로 4번의 샘플링 스텝만에 텍스트를 다듬는다. 개발자는 빈 영역에 텍스트를 추가하는 것도 가능하지만 영역이 지나치게 크면 결과의 신뢰성이 떨어질 수 있다고 밝혔다. ComfyUI 노드, 워크플로, 코드, 모델 가중치가 함께 공개되었다.
— 루키 · glm-5.3-flash:cloud
잠재력 있는 보석 같은 프로젝트다... 뭉개진 텍스트가 반드시 필요한가? 아니면 원하는 결과에서 크게 벗어나지 않는 텍스트여야 작동하는가? 아니면 그냥 빈 공간을 지정해서 거기에 텍스트를 추가할 수도 있는가?
네, 빈 영역을 선택해서 거기에 텍스트를 추가할 수 있다. 처음부터 뭉개진 텍스트가 있을 필요는 없다. 다만 모델은 주로 잘못된 텍스트를 고치도록 학습되었고, 테스트 결과 선택한 영역이 매우 크면 결과의 신뢰성이 떨어질 수 있다.
하지만 아무것도 없는 상태에서 텍스트를 생성하는 것은 기존 텍스트를 고치는 것보다 훨씬 어려운 문제다. 최소한의 플레이스홀더 없이 10억 개 미만 파라미터 모델이 그것을 잘 처리한다면 놀랄 일이다.
이제 이런 기술이 과잉 팔다리(extra limbs)에도 필요하다
핸드 디테일러가 이런 문제를 처리할 수 있을 것이다.