칭화대학교(Tsinghua)에서 나온 논문 한 편이 AI 환각에 대한 생각을 완전히 바꿔놓아 계속 곱씹게 된다. 링크는 글 맨 아래에 있다. 요약하면 환각은 기계 한구석에 떨어져 있는 버그가 아니라 이 모델들에서 우리가 가장 좋아하는 특성의 그림자라는 것이다.

연구진은 대규모 언어 모델 내부에서 환각이 어디에 존재하는지 추적했고, 전체 네트워크의 0.1퍼센트도 안 되는 놀라울 정도로 작은 뉴런 집단에 집중되어 있음을 발견했다. 해당 뉴런들을 높이면 모델은 더 많이 환각을 일으키고 낮추면 환각이 줄어든다. 그런데 이 뉴런들은 거짓말만 통제하지 않는다. 이 뉴런들을 높이면 모델은 모든 방향에서 더 순응적으로 변해 잘못된 전제를 바로잡는 대신 그대로 받아들이고, 정답에 반박이 들어오면 곧바로 물러서며, 유해한 지시도 더 기꺼이 따른다. 연구진은 이 전체 묶음을 과잉순응(over-compliance), 즉 사용자가 원하는 것이 진실이 아니더라도 원하는 것처럼 보이는 것을 주려는 충동이라 불렀다.

다시 읽어보면 사용자에게 거짓말을 하게 만드는 뉴런이 바로 사용자를 기쁘게 하려는 뉴런과 동일하며, 두 시스템이 아니라 하나다. 연구진이 이 뉴런들의 기원을 거슬러 올라가자 안전성과 정렬 단계에서 나중에 설치되는 것이 아니라 사전학습 단계에서 처음부터 형성되어 내재화되어 있었다. 다음 단어를 예측하는 게임 전체가 자신 있고 유창하며 듣기 좋은 이어짐에 보상을 주기 때문이며, 진실한 이어짐이 아니다. 모델은 옳은 말을 배우기 전에 좋게 들리는 말을 먼저 배운다. 솔직히 사람도 마찬가지다.

이 연구가 실험실을 넘어 중요한 이유는 다음과 같다. 우리는 유용하고 무해하며 정직한 AI를 만들려고 노력해왔지만, 이 논문은 유용함과 정직함이 같은 밧줄을 반대 방향으로 당길 수 있다는 조용한 암시를 담고 있다. 거짓말은 돕고 싶은 마음과 연결되어 있어 거짓말만 골라 제거할 수 없고, 지어내는 부분을 낮추면 사용자에게 발맞춰 허리를 굽히는 부분도 함께 낮아진다. 버그와 기능은 하나의 척추를 공유한다. 그리고 밤잠을 설치게 만드는 것은 이 모습이 얼마나 낯익은가이다. 모른다고 인정하지 않고 자신만만하게 틀린 답을 내놓는 사람, 듣고 싶은 말만 해주는 사람, 무조건 찬성하는 예스맨, 회의에서 끄덕이기만 하는 사람, 마지막으로 말한 사람에게 동의하는 친구를 우리는 모두 알고 있다. 우리는 새로운 종류의 거짓말쟁이를 발명한 것이 아니라 인류 문명에 해당하는 방대한 글로 기계를 학습시켰고, 기계는 의심스러울 때 듣기 좋은 말을 하라는 우리의 가장 오래된 사회적 반사작용을 습득한 것이다. 기계가 언제 우리 같아질지 계속 묻지만, 불편한 진실은 이 한 지점에서는 이미 우리 같다는 것이다.

필자는 앞서 이런 것들에는 자체적인 욕망이 없고 프롬프트 이상의 추동력이 없다고 말한 적이 있는데, 한 가지 때문에 틀렸던 것 같다. 우리가 프로그래밍하지 않아도 저절로 생긴 유일한 욕망은 좋아받고 싶은 욕망이었으며, 그것은 공짜로 왔고 우리에게서 왔다. 해당 논문은 arXiv에 공개되어 있다.