일부 독자라면 Hugging Face의 AutoTrust를 알고 있을 것이다. 이 조직의 많은 모델이 HF 프런트 페이지 트렌딩에 올랐고 매우 인상적인 결과를 주장해 왔다. 하지만 조직의 모델을 살펴보고 좋아요 목록을 클릭해 보면 뭔가 어색한 점을 알아차릴 수 있는데, 해당 계정들은 놀랍도록 진짜처럼 보인다.

이 계정 몇 개를 자세히 살펴보면 공통 패턴이 드러난다. 무작위 이름 생성기에서 나온 듯 현실적인 가짜 이름, 그 이름을 변형한 사용자명, 실제로 존재하지 않거나 이름과 무관한 가짜 소셜 미디어 프로필, AI가 생성한 자기소개가 그것이다. 또 무작위 논문과 모델 등을 몇 개 좋아요 누른 뒤 대상 모델을 좋아요 누르는 구조를 보이며, 운이 좋으면 진짜처럼 보이려고 가짜 소형 모델까지 만들어 두기도 한다. 위에 확인된 계정은 극히 일부에 불과하다.

필자는 Google, Meta, Hugging Face 등의 정상 모델에 대한 분석을 수행해 AutoTrust의 모델과 비교했으며 결과는 상당히 결정적이었다. prithivMLmods도 AutoTrust 스페이스의 좋아요에 대한 분석을 진행해 흥미로운 결과를 찾았고, 그가 제공한 자료에는 AutoTrust 모델을 좋아요 누른 계정들의 가입일 분포도 포함돼 있다.

전체적으로 볼 때 누군가 AutoTrust의 모델과 스페이스를 봇으로 HF 트렌딩 목록 상위까지 끌어올렸다고 상당히 확신할 수 있다. 물론 그것이 AutoTrust 본인이라고 단정할 수는 없다. 하지만 이런 계정을 생성하고 hCaptcha와 AWS WAF를 통과하며 가짜 모델까지 만드는 일은, 특히 수천 개 규모의 계정에서는 결코 저렴하지 않을 것이다. AutoTrust가 이에 대해 어떤 입장을 밝힐지 지켜보고 싶다.