오픈 웨이트 모델 대 프론티어 모델의 실상
원문 제목 — The actual state of open-weight models vs. frontier models
📄 전문 번역
오늘날 SOTA(state-of-the-art) 모델이 여전히 오픈소스 모델보다 앞서 있다는 것은 분명하다. 그러나 벤치마크를 올바르게 필터링하면 불과 몇 달 전과는 다른 그림이 나타난다. 오늘날 오픈소스 모델은 Sonnet 5를 앞지르고 있으며, Sonnet 4.6이나 3.7의 성능 수준을 넘는 데 몇 달이나 걸렸던 점을 고려하면 이는 상당한 변화다. (Dario는 긴장하고 있다)
솔직히 나는 'Spark Open'이 버전 1.2와 대등할 것으로 예상했었지만, 그럼에도 벤치마크를 적절한 맥락에서 보면 이는 오픈소스 생태계에 좋은 소식이다. 이제 Qwen 4와 GLM 같은 모델이 저울을 더 기울일 차례이지만, 진짜 핵심은 Sonnet 5나 Astra가 반드시 필요하지 않은 사용자라면 이제 유료 독점 모델을 완전히 거둬낼 수 있다는 점이다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
오픈소스 모델이 Sonnet 5를 앞지르며 불과 몇 달 만에 격차가 크게 좁혀졌다는 평가가 제시된다. Sonnet 4.6이나 3.7을 넘는 데 몇 달이 걸렸던 과거와 비교하면 상당한 변화라는 것이다. 댓글에서는 루프드 트랜스포머 아키텍처와 Anthropic의 검열 정책 등 폐쇄 모델에 대한 비판적 시각이 함께 나타난다. Sonnet 5나 Astra가 필수가 아닌 사용자는 유료 독점 모델 없이도 충분하다는 결론이 글의 핵심이다.
— 루키 · glm-5.3-flash:cloud
미국은 루프드 트랜스포머로 전환한 것으로 보인다. 중국은 다음 달이나 2027년 전에 다시 앞서 나올 것이니 조금만 기다려라.
'think again'을 입력하는 것은 가난한 자의 루프드 트랜스포머에 불과하다. (머리를 두드리며)
그 '루프드' 트랜스포머는 공유 레이어로 깊이를 높이는 방법일 뿐이며, 제대로 하면 전문가 근시(Experts myopia)에 대처하는 데도 도움이 될 수 있다. 그러나 성능의 진짜 비결은 이런 아키텍처 조정이 아니라 데이터와 RL 훈련 환경이다. 게다가 그것은 Sol에만 유출된 것일 수 있다. Astra는 추정 가능하지만 두 모델 모두 사실이라 해도, Sol이나 Astra보다 훨씬 매끄럽게 작업할 수 있는 Opus에 대해서는 알 수 없다.
루프드 트랜스포머 만세!
내 문제는 주로 검열 쪽이다. Anthropic 모델은 자신들이 정렬되지 않았다고 느끼는 모든 것을 검열한다. 사이버 보안 작업 같은 것들 말이다. 나는 방금 이걸로 블루 팀 하네스를 구축하려다 차단당했다. 중국 모델은 이를 허용한다. 실제로 다른 곳을 해킹하는 회사(Anthropic)가 해커에 대한 방어를 허락하지 않는 것은 우스운 일이다.