타 아키텍처 의미 표현을 MiniMax H3로 전이한 실험, 500만 파라미터 조건 어댑터로 귀결
원문 제목 — I tried transferring semantic representations from one architecture into MiniMax H3 — it ended up becoming a 5M parameter conditioning adapter
📄 전문 번역
필자는 LoRA 학습이나 다른 모델 병합 대신, 완전히 다른 아키텍처가 학습한 고수준 의미 표현을 MiniMax H3의 조건 공간으로 전이할 수 있는지 확인하는 특이한 실험을 진행했다. 원래 목표는 프롬프트 준수 구성, 공간 관계, 인체 해부학, 재질과 조명 해석, 반사·투명·폐색, 텍스트 관련 이해, 레퍼런스 해석이었다. 실험은 결국 MiniMax H3 Semantic Bridge라 불리는 프로젝트로 완성되었으며, 최종 릴리스는 추론 시 도너 모델을 더 이상 필요로 하지 않는다. 전체 프로젝트는 NVIDIA RTX 3090 Ti(24GB) 한 장으로 구성된 로컬 워크스테이션에서 개발되었고 멀티 GPU 학습 클러스터는 사용되지 않았으며, 프로젝트·가중치·ComfyUI 노드·학습 스크립트와 전체 연구는 Hugging Face에 공개되었다.
모델을 직접 이식하는 대안을 먼저 조사한 결과, MiniMax H3와 도너 모델 SenseNova U1.5는 기존 방식의 가중치 이식에 구조적으로 호환되지 않았다. 관련 2D 가중치는 MiniMax H3가 264개, SenseNova가 593개였으나 정확한 형상 일치, 의미 유형 일치, 전치 일치, 입출력 차원 일치는 모두 0개였다. 다만 조건 표현이라는 인터페이스가 남아 있었는데, H3는 5120차원 텍스트 조건을 받아 5376차원 내부 트랜스포머 공간으로 투영하고 SenseNova의 언어 표현은 4096차원이었다. 이에 따라 한 아키텍처의 의미 표현을 다른 아키텍처의 조건 공간으로 투영할 수 있는가라는 질문이 도출되었다.
양 모델의 여러 깊이에서 히든 스테이트를 추출해 저랭크 프로젝터를 학습시켰고, 초기 스크리닝에서 선정된 30개 레이어 조합을 모두 테스트한 결과 최고 조합은 SenseNova L32에서 MiniMax H3 L49로 이어지는 4096→128→5120 프로젝터였으며 검증 코사인 유사도는 0.9042에 달했다. 이 고정 브리지를 공간 추론, 해부학, 계수, 재질, 조명, 텍스트, 반사, 폐색을 다루는 더 어려운 별도 프롬프트 160개로 테스트한 평균 코사인은 0.7490이었고, 이로써 첫 작동 프로토타입이 만들어졌다. 첫 H3 구현은 SenseNova 히든 스테이트를 RMS 정규화하고 학습된 4096→128→5120 투영과 크기 매칭을 거쳐 네이티브 H3 조건과 블렌딩하는 방식, 즉 hybrid = H3 + alpha × (projected_semantics - H3) 형태로 동작했으나, H3 조건 생성을 위해 SenseNova를 실행해야 한다는 실용성 문제가 남았다.
이에 추론 시 SenseNova를 실행하는 대신, H3 자체의 L49 조건에서 투영된 교사 표현을 재구성하도록 RMS 정규화와 SiLU 활성화를 갖춘 5120→512→512→5120 구조의 작은 학생 네트워크를 학습시키는 증류 실험이 진행되었다. 학생 네트워크는 약 500만~600만 파라미터이며 확산 가중치는 수정되지 않았고, 최종 V3 학생은 600개 프롬프트를 학습 500·검증 100으로 분할해 학습되었다. 최종 검증 결과는 표현 코사인 0.995890, 의미 보정 코사인 0.983558, 메인 세트 보정 0.980888, 홀드아웃 OOD 보정 0.989788, 최소 보정 코사인 0.935910이었고, alpha 0.10에서 교사 브리지 대비 블렌딩 조건의 코사인은 0.999958로 대형 크로스모델 런타임 브리지가 사실상 작은 독립형 어댑터로 압축되었다. 공개 버전은 MiniMax H3와 약 500만 파라미터의 Semantic Bridge만 필요하며 생성 시 SenseNova 체크포인트, 토크나이저, 별도 모델이 전혀 요구되지 않는다.
비디오에 미치는 실제 효과는 지표만으로 답하기 어려워 동일한 프롬프트·시드·생성 설정으로 통제된 A/B 생성이 진행되었다. 매우 명시적인 지시를 담은 한 예시에서 네이티브 H3 결과의 여성 오른손은 테이블 위를 움직이기 시작한 반면, Semantic Bridge를 alpha 0.15로 적용하자 요청된 상태에 더 가깝게 손이 테이블 위에 머물렀다. 또 다른 테스트는 움직이는 기차 지붕 위에서 장애물을 뛰어넘는 두 사람을 다루며 해부학, 물리적 접촉, 반사, 젖은 재질, 공간적 연속성에 관한 지시가 포함되었고, 네이티브와 브리지 비교가 동기화되어 공개되어 차이를 직접 판단할 수 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
SenseNova U1.5의 의미 표현을 MiniMax H3의 조건 공간으로 투영하는 브리지를 구축한 뒤, 이를 H3 자체 L49 조건에서 교사 표현을 재구성하는 약 500만 파라미터 학생 네트워크로 증류해 추론 시 도너 모델 없이 동작하는 어댑터를 완성했다. 전체 개발이 RTX 3090 Ti 한 장의 로컬 워크스테이션에서 이뤄진 점이 특징적이다. A/B 비교에서 프롬프트 준수 개선 사례가 보고되었으며, 작성자는 Ref2Vid 모델용 기술 고도화와 VLM 통합을 후속 과제로 언급했다.
— 루키 · glm-5.3-flash:cloud
작성자가 만들고 발견한 내용에 대한 쉬운 설명이다. 문제: AI 모델 MiniMax H3는 공간 배치, 조명, 정확한 인체 움직임 같은 텍스트 프롬프트의 세부 사항을 놓칠 때가 있다. 다른 AI 모델 SenseNova U1.5는 이런 개념을 더 잘 이해하지만 내부 코드와 구조가 MiniMax H3와 완전히 호환되지 않아 코드를 단순히 합칠 수는 없다. 해결책: 모델들의 메인 엔진을 결합하는 대신, 작성자는 SenseNova가 프롬프트를 '생각하는' 방식을 매핑해 그 의미를 MiniMax H3의 입력으로 직접 번역했다.
감사하다 :) 맞다. 하지만 Ref2Vid 모델을 위한 기술을 다듬을 계획인데 이미 프로토타입이 있으며 개선에는 시간이 걸린다. 준비되는 대로 공개할 계획이다. Ref2Vid 모델은 다른 로직을 사용하므로 전체 과정을 완전히 다시 설계해야 한다.
솔직히 500만 파라미터 학생 모델이 가장 멋진 부분이다. 두 번째 모델 전체를 끌고 다니지 않으면서 H3가 다른 모델의 유용한 '이해'를 포착하도록 가르치는 셈이다. 꽤 영리한 우회 방법이다.
감사하다. 작은 어댑터 모델을 만들거나 VLM에 통합하는 것이 주요 목표였지만 당분간은 작은 모델로 한정하기로 했다. 앞으로 이를 더 잘 이해하게 되면 최종 결과를 VLM에 통합할 수 있기를 희망하지만, 사실 필요 없는 경우가 있을 수 있고 그때 그냥 끄면 되므로 어댑터를 사용하는 것이 더 현명하다고 생각한다.
그렇다. 켜고 끌 수 있게 유지하는 것은 분명히 합리적이다. 이 기술이 어디로 향하는지 기대된다!