솔직히 아무 의미 없다. 아직 출시되지 않았으니까. 구글의 이런 발표 방식은 별로 마음에 들지 않는다. 모델을 아직 사용할 수 없는 상태에서 리더보드 정상에 오르기 위해서만 하는 발표라고 생각한다. 이 커뮤니티 사람들의 기억력이 왜 이렇게 짧은지 모르겠다. 지난번에도 Argon은 출시되기도 전에 AA에 등재됐었다.

2주 정도밖에 안 된다. 그게 왜 큰 문제인가? 이렇게 뛰어난 성능의 모델을 소프트 론칭하는 것은 완전히 합리적이다.

하지만 그렇게 하면 다른 랩들과 비교가 불가능해진다. 예를 들어 기업 파트너들은 Fable 5.5에 며칠 전 접근 권한을 받았지만 그에 대한 화려한 홍보는 없었다. 이번 발표의 유일한 목적은 기술을 이해하지 못하는 사람들(일반 투자자들)의 환호를 부추겨 구글이 돌아왔다는 과대 홍보를 만드는 것이다. 너무 많은 사람들이 여기서 그들의 함정에 빠진다고 생각해서 이렇게 말하는 것뿐이다.

대부분의 Gemini 게시물 댓글을 보면 사람들이 다른 함정에 빠지고 있다고 본다. 바로 DeepMind가 프런티어 랩이 아니라고 생각하는 것이다. 네 댓글도 오늘만 보고 전체적인 추세를 보지 않기 때문에 여기에 한몫한다고 생각한다. Fable 5.5가 어떨지는 아무도 모른다. 벤치마크가 훨씬 높을 수도 있지만 비용이 10배일 수도 있다. 모르니까 어쩔 수 없다. 구글이 모델이 출시된 시점에(완전한 공개 출시가 아니더라도) 정보를 공개하는 것은 완전히 합리적이다. 오히려 Anthropic도 벤치마크를 공개해 주길 바란다.

게시물 제목이 말 그대로 Google is BACK #1 on Artificial Analysis인 것을 보면 내가 말하는 함정이 무엇인지 명확히 알 수 있다. 화폐의 시간 가치처럼 서로 다른 시기의 가치는 비교할 수 없는 법이다. 현재 Carbon의 점수는 출시되지 않았기 때문에 다른 모델과 비교가 불가능하다. Mythos를 몇 달간 사용할 수 없는 상황에서 최고 성능 모델이 GPT 5.4였을 때 Mythos Preview 점수를 비교하는 것과 같다. 만약 그런 일이 AA에서 벌어졌다면 상상이 되는가? 경쟁사보다 10점 이상 앞선다는 것을 보여줄 수 있는 마케팅을 생각해 보라. 다르다고 생각한다.