XingChen-AGI가 Hugging Face에 새로운 MoE 모델 Xing4.0-29B-A4B를 공개했다. 이 모델은 China Telecom Artificial Intelligence Technology Co., Ltd.가 개발한 Xing 시리즈(구 TeleChat)의 차세대 대규모 언어 모델로, 총 29B 파라미터 중 토큰당 4B만 활성화하며 256K 컨텍스트 길이를 기본 지원하고 512K까지 확장할 수 있다. 이 규모의 모델 중 최초로 Ascend NPU 플랫폼과 MindSpore 프레임워크만으로 전 과정을 학습했으며, 복잡한 엔지니어링 작업에 맞춰 깊이 최적화됐다.

모델은 mHC와 MLA, MTP를 결합한 에이전트 지향 아키텍처를 채택해 다단계 계획 수립, 도구 호출, 복잡한 추론 체인 실행을 지원하며 긴 컨텍스트에서도 작업 일관성과 실행 안정성을 유지한다. Ascend 910C 클러스터에 맞춰 MindSpore/MindFormers 기반으로 적응됐고, mHC 기능 적응과 퓨즈드 연산자 개발을 통해 Ascend 플랫폼에서 안정적인 학습이 가능하다. 세분화된 MoE 통신 최적화, 선택적 재계산, DVM 자동 그래프-연산자 퓨전, Ascend C mHC 퓨즈드 연산자 등 다층 공동 최적화를 통해 전체 학습 처리량을 기본 성능 대비 약 96% 향상시켰다.

파인튜닝은 LLaMA-Factory와 MindFormers를, 추론 및 배포는 SGLang과 vLLM, KTransformers를 지원하며, OpenCode와 Claude Code, OpenClaw, Hermes 같은 에이전트 프레임워크에 대한 맞춤 적응과 포맷 정합성도 제공해 기존 워크플로에 매끄럽게 통합된다. 의도 분류, 표 이해, 계약 감사, 지식 기반 QA 같은 수직 도메인에서 소유 데이터 기반 경량 커스터마이징이 가능해 낮은 비용으로 도메인 역량을 빠르게 구축할 수 있다.

주요 사양은 총 29B(활성 4B) 파라미터, 40개 레이어, 히든 사이즈 3584, dense 중간 크기 9216, 전문가 중간 크기 1024, MLA 어텐션, 라우팅 전문가 64개, 토큰당 활성 전문가 4개, 공유 전문가 1개, 256K(512K 확장) 컨텍스트다.

벤치마크에서는 Gemma4-26B-A4B 및 Qwen3.6-35B-A3B와 비교됐다. Xing4.0-29B-A4B는 IFBench 69.67, AIME2026 90.00, AA.LCR 61.00, Tau3-Bench 64.63, Claw-Eval 76.55, SWE-bench Verified 75.00, Terminal-Bench 2.1 57.50, SWE-bench Multilingual 66.00, DeepresearchBII 60.80을 기록했으며, SWE-bench Verified와 Terminal-Bench 2.1에서는 Gemma4-26B-A4B를 크게 앞서고 Qwen3.6-35B-A3B에 근접한 코딩 성능을 보여준다.