Google DeepMind 직원의 틀림없이 편향되지 않은 의견이군요. 그가 뭐라고 하겠습니까? '그래, 실제로는 그렇게 좋지 않아. 벤치마크에서만 좋아 보이는 것뿐이야'라고 말하겠습니까.

곧 API를 통해 이용 가능해질 테니 직접 테스트해볼 수 있습니다. 좋은지 아닌지를 두고 이렇게 갑론을박하는 것은 정말 지치는 일입니다.

이 서브레딧이 말하는 것과 달리 벤치마크가 훨씬 더 신뢰할 수 있습니다. 이 모델들에 대해 글을 쓰는 사람들은 모두 진영 논리를 원하기 때문에 나름의 속내가 있습니다. 자신이 좋아하는 브랜드가 아니면 혐오자들이 모두 힘을 합칩니다. 모델에 대한 반응은 군중에 의해 더 좌우되는데, Google은 Meta를 제외하면 이곳과 Twitter에서 가장 혐오받는 제공자 중 하나라고 생각합니다. 그래서 처음부터 'benchmaxxed'라는 평가가 나올 수밖에 없었던 것입니다.

결코 혐오자가 아닙니다. 저는 Gemini의 멀티모달 기능을 사랑합니다. 하지만 제 프로젝트를 문자 그대로 통째로 날려버린 정말 멍청한 오류들 때문에 너무 여러 번 피해를 봤습니다. 이것은 고립된 사건도 아닙니다. 이런 행동 패턴은 벤치마크만으로는 알 수 없는 부분이기에 새 릴리스에 대해 회의적인 시각을 갖는 것은 당연하다고 생각합니다.

우리 모두에게 일어나는 일입니다.