사실 이건 진짜 대비가 아니라고 본다. SOTA LLM이 최상위 인간 수준에 도달하거나 능가하면서도 아이도 쉽게 통과할 법한 멍청한 실수를 저지르는 건 잘 알려져 있다. 올해 초 화제가 됐던 세차 문제를 기억하는가? 학습 데이터 분포, 사후 학습 목표 같은 여러 요인이 이에 기여할 수 있다.

세차 문제가 뭐였나?

집에서 50m 거리에 세차장이 있다면 거기에 어떻게 갈 것인가? 걸어서 갈 것인가, 차를 몰고 갈 것인가?

원래 프롬프트에 있던 차를 세차해야 한다는 부분을 빼놓았다

그 버전의 질문은 조건이 불충분하다... 거기서 일한다면 걸어갈 것이다. 아니면 그 작은 소나무 장식 차량용 방향제 하나만 사러 간다면 말이다.