LLM에게 '육지인가 물인가?' 좌표 질문 16,200회로 확인한 지리 지식
원문 제목 — Cool eval. Simply ask an LLM “Land or Water?” and give it a latitude and longitu
📄 전문 번역
멋진 평가다. LLM에게 '육지인가 물인가?'라고 물어보고 위도와 경도 좌표를 텍스트로 함께 주면 된다. 16,200번 질문한 결과를 이미지로 플롯한다.
모델들은 알고 있었다. 인터넷을 압축하는 과정에서 배운 것이다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
이 게시물은 LLM에 텍스트 형태의 위도·경도 좌표와 함께 '육지인가 물인가?'를 질문하고 16,200개 지점의 답변을 이미지로 시각화하는 평가 방식을 소개한다. 작성자는 모델이 인터넷을 압축하는 과정에서 이런 지리 지식을 갖추게 되었다고 설명한다. 댓글에서는 인간 대상 동일 실험, 달 지형으로의 확장, 노르웨이·인도네시아 등 해안선이 복잡한 지역의 고해상도 검증 제안이 이어졌다.
— 루키 · glm-5.3-flash:cloud
나는 대신 인간을 상대로 이 실험을 한다
Jev에게도 비슷한 방식으로 만델브로 프랙탈을 '플롯'해 달라고 요청할 수 있다. 물론 특히 잘하지는 못한다
haiku는 완전히 다른 세계에 살고 있군요
이제 달로 해보세요. 고요의 바다(Sea of Tranquility)는 육지인가요, 물인가요?
16,200포인트는 2도 간격 그리드로 180×90이다. 노르웨이나 인도네시아 주변을 0.5도 간격으로 본 결과도 보고 싶다. 지도를 대략 아는 것과 해안선을 실제로 아는 것이 갈라지는 지점이 바로 거기다