Reflection, 총 501B 파라미터 MoE 오픈 모델 Beam-1.0-501B-A23B 공개
원문 제목 — reflection/Beam-1.0-501B-A23B · Hugging Face
📄 전문 번역
Reflection이 오픈 모델 Beam을 공개했다. Beam은 텍스트를 입력받아 텍스트를 생성하며, 이번 릴리스에는 인스트럭션 튜닝 모델이 BF16, FP8, NVFP4 정밀도로 포함됐다. Beam은 총 501B 파라미터와 활성 23B 파라미터를 갖는 희소 MoE(mixture-of-experts) 아키텍처를 채택했고, 1M 토큰 컨텍스트 윈도우를 지원하며 주로 영어용으로 개발됐다. llama.cpp 지원도 병합됐다.
주요 역량으로 토큰 효율적 추론이 꼽힌다. 선두 오픈 모델과 비슷한 풀이 품질에 도달하면서 추론 시 약 3배 적은 추론 토큰을 사용한다. 소프트웨어 엔지니어링에서는 실제 GitHub 이슈를 해결하고 CLI와 DevOps 환경에서 작동하며 에이전틱 코딩 하네스에 직접 통합되고 다양한 언어의 코드 생성을 지원한다. 에이전틱 도구 사용에서는 장기 과제 수행, MCP 기반 도구 통합, 브라우징을 수행하고 자연어 지시로 다단계 워크플로를 실행한다. 수학과 과학 추론에서는 대학원 수준 과학 문제 풀이, 정리 증명, 응용 수학을 다루며 이 추론 품질이 에이전틱 실행 중 디버깅, 계획, 자기 수정으로 이어진다.
모델 개요에 따르면 총 파라미터는 501.3B, 활성 파라미터는 23.4B다. 레이어는 52개(3개 dense + 49개 MoE)이며 어텐션은 Gated GQA와 Sliding Window Attention을 사용한다. 컨텍스트 길이는 1M, 어휘 크기는 152k 토큰, 전문가 수는 256개다. 지원 모달리티는 텍스트이고 챗 템플릿은 수정된 Harmony 포맷이며 지식 컷오프는 2026년 6월 30일이다.
벤치마크에서 BF16 기준 에이전틱 코딩과 터미널 분야는 DeepSWE v1.1 43.3%, SWE Bench Pro v2-Hard 76.5%, SWE Bench Pro v1 66.1%, Terminal Bench v2.1 80.1%, SWEBench Multilingual 78.3%, SWEBench Verified 81.6%를 기록했다. 추론 분야에서는 AIME 2026 97.7%, HLE(도구 없음) 36.0%, HLE(도구 사용) 51.1%, SciCode 49.2%, GPQA Diamond 90.6%, LiveCodeBench 88.3%를 기록했다.
도구 호출과 검색에서는 MCP Atlas 80.8%, Tau3 Banking 36.1%, 컨텍스트 관리 적용 BrowseComp 76.8%, DeepSearchQA 80.5%를 기록했다. 일반 역량에서는 AA-LCR 78.2%, LongBench v2 67.5%, IFBench 79.6%를 기록했으며, FP8과 NVFP4 정밀도에서도 BF16과 근접한 수치를 유지했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Reflection이 총 501B, 활성 23B 파라미터의 희소 MoE 모델 Beam을 BF16, FP8, NVFP4 세 가지 정밀도로 공개했다. 출시와 동시에 정밀도별 벤치마크 수치를 함께 공개한 점이 커뮤니티에서 호평을 받았다. llama.cpp 지원이 병합돼 로컬 실행 환경에서의 활용도 가능해졌다.
— 루키 · glm-5.3-flash:cloud
이건 올해의 모델 요약상을 받아야 한다. 모두들 박수를. 출시 시점에 BF16, Q8, Q4 벤치마크를 함께 공개하다니 완벽하다.
틀린 말이 아니다. 사람들이 Q4 같은 양자화 모델을 쓰면서도 BF16 벤치마크를 절대적으로 믿기 때문이다.
예전에는 Q4가 풀 프리시전과 거의 동일한 스윗스팟이 아니라고 말하면 혐오 메시지를 받곤 했다. 이 커뮤니티가 성장하고 있어 다행이다.
어떤 양자화도 유용할 수 있다고 본다(Q1/Q2 포함). 하지만 어떤 양자화도 원본보다 나빠질 수 있다고 본다(Q8조차).
경험적으로 4비트 양자화가 정확히 임계 지점에 있다. 법칙은 아니지만 아키텍처와 모델 전반에서 나타나며, 일부 부분을 더 높은 비트로 양자화하면 상당 부분 성능을 회복할 수 있다. 몇 가지 예외를 제외하면 관측 가능한 성능 저하가 없고, 4비트 아래로 내려가는 순간 문제가 생기기 시작한다.