여기에 이 소식을 올린 사람은 없는 것 같지만, Qwen이 3.5 4B 모델을 자율주행용으로 파인튜닝한 버전을 공개했다. 전체 BF16 체크포인트 크기는 9B다. 중국 AI 연구소들이 오픈 웨이트 모델로 다음 과제인 자율주행에 도전하고 있다는 점에서 매우 흥미로운 발전이다.

수정: HF 저장소는 GitHub 저장소로 연결되고, 그 인용 부분에는 40페이지 분량의 기술 보고서 링크가 걸려 있다. 초록은 다음과 같다.

우리는 자율주행을 위한 비전-언어 파운데이션 모델을 향한 초기 단계인 Qwen-Drive-1.0을 발표한다. Qwen-Drive-1.0은 사전학습된 비전-언어 모델(VLM)의 아키텍처를 그대로 유지하면서 3D 인식, 시각 질의응답, 모션 플래닝을 하나의 통합 프레임워크 안에 통합한다. 외부 BEV(조감도) 인식 헤드는 3D 객체 검출, 시맨틱 오큐팬시 예측, BEV 맵 세그멘테이션을 동시에 수행한다. 이 헤드는 공유 표현에서 접근 가능한 3D 정보를 탐색하는 프로브 역할을 하며, 3D 장면 구조에 대한 명시적이고 검증 가능한 인터페이스를 제공한다. 플래닝 익스퍼트는 공유된 VLM 표현을 조건으로 삼아 차량의 미래 궤적을 생성한다. 단계적 학습 방식은 주행 지도 데이터와 범용 비전-언어 데이터를 결합하여 주행 특화 능력을 습득하면서도 폭넓은 시각 이해 능력과 지시 수행 능력의 보존을 돕는다. 실험 결과는 일반 비전-언어 능력을 대부분 유지하면서 강력한 3D 인식과 주행 장면 이해를 보여준다. 오픈 루프, 의사 클로즈드 루프, 클로즈드 루프 설정 전반에 걸친 포괄적인 평가에서도 경쟁력 있는 모션 플래닝 성능이 확인됐다.

이 게시물은 Reddit 사용자 FullstackSensei가 제출했다.