모든 LLM 코딩 벤치마크를 수집해 Intelligence Density(지능 밀도)를 계산했다
원문 제목 — I collected every single LLM coding benchmark, and computed their Intelligence Density
📄 전문 번역
여기서 말하는 지능은 관련성 높은 에이전틱 코딩 벤치마크 대부분을 종합한 지수로, 내가 Agentic Coding Index라고 명명했다. 여기에는 SWE-bench Pro, DeepSWE v1.1, Terminal-Bench(v4, v3, v2.1), Code Arena Elo, LiveCodeBench v6가 포함된다.
지능/파라미터 = Scale × (Agentic Index / Norm) ^ (Super_Linear_Exponent) / sqrt(PCount + PLowerBound). Norm은 중립 기준선(=50)을 설정한다. Super_Linear_Exponent는 비선형 스케일로, 겨우 코드를 쓰는 수준의 소형 모델이 리더보드를 비정상적으로 지배하는 일을 막으면서 진정한 자율 숙련도에는 보상한다. Scale은 2.5354다. PCount는 모델 파라미터 수(십억 단위)이고, PLowerBound는 파라미터 수의 하한(1B 미만 모델이 점수를 급등시키지 않도록 하는 정규화 항)으로 8B다.
Agentic Coding Index의 가중치는 DeepSWE v1.1(20%), Code Arena Elo(20%), Terminal-Bench v4.0(15%), SWE-bench Pro(15%), Terminal-Bench v3.0(13%), Terminal-Bench v2.1(12%), LiveCodeBench v6(5%)다. 데이터 무결성: 모든 벤치마크 점수는 검증된 공개·공식 출처(모델 제작사, 동료 평가를 거친 평가 보고서)에서 수집했다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
작성자가 SWE-bench Pro, DeepSWE v1.1, Terminal-Bench(v4, v3, v2.1), Code Arena Elo, LiveCodeBench v6를 가중합한 Agentic Coding Index를 정의하고, 여기에 파라미터 수를 반영한 Intelligence Density 공식을 제시했다. 겨우 코드를 쓰는 수준의 소형 모델이 상위권을 비정상적으로 차지하지 않도록 비선형 지수와 8B 파라미터 하한 정규화 항을 도입했다. 댓글에서는 파라미터 수가 비공개인 프론티어 모델의 계산 가능성에 의문이 제기됐다.
— 루키 · glm-5.3-flash:cloud
프론티어 모델에 대해 이것을 어떻게 계산할 수 있다는 것인가? 파라미터 수는 신뢰할 수 없는 유출 정보뿐인데?
(이미지 링크)
LLM은 파라미터 크기를 꿈꾸는가?