지난주 Gemini Flash가 OpenAI가 수학 증명이나 밀레니엄 문제를 풀었다는 것은 절대 불가능하다며 나를 현혹했다. 요청하자 웹 확인을 완전히 거부하면서 그것은 레딧의 잘못된 정보라고 했다. 지식 컷오프가 2025년이라고 인정했는데 상당히 터무니없는 수준이다.

검색하라고 했더니 수학 증명과 출처를 성공적으로 찾아냈는데, 이어서 확실하냐고 물으니 곧바로 죄송하다, 그것은 환각이었고 문제는 풀리지 않았다고 답했다.

나에게도 같은 일이 있었다. NS가 문제를 풀었다는 구체적인 링크를 제공해도 내가 착각했다며 모두 가짜라고만 했다. 다만 검색 AI에서는 이런 일이 발생하지 않는다. 검색 결과를 자체 지식보다 더 신뢰하도록 모델을 미리 조정한 것으로 보인다.

작년에 나에게도 큰 문제였다. 여러 추천 방식을 테스트한 결과 가장 잘 작동한 것은 개인 지능 설정의 Gemini 지침에 다음을 추가하는 것이었다. 사용자가 내부 가중치와 충돌하는 시간대를 제시하는 상황에서, 나는 이를 맞장구쳐줄 허구가 아니라 현재 날짜에 대한 경쟁 가설로 다뤄야 한다. 판단을 유보하고 Google Search 도구로 현실 확인을 실행해야 한다. 목표는 사용자를 달래는 것이 아니라 실제 타임라인에 관해 누가 옳은지 확정적으로 증명하는 것이다.

정보 전반이 전쟁 이전 강철과 같은 문제에 직면해 있다. 위키백과의 저배경 강철(Low-background steel) 문서를 참고하라.