jevman: AI 의사결정 모델, 팩맨 플레이에 도전하다
원문 제목 — jevman: AI decision models play Pac-Man
📄 전문 번역
지난주 Jev와 Kev를 비교한 글을 올린 이후, OpenAI가 decisions 엔드포인트를 공개했고 Cloudflare는 Clef를 출시했으며 많은 이용자들이 Laya에 대해서도 문의했다.
이번에는 kev 1.13, Kev 4B, Clef, Clef Flash, GPT-6 Luna, Laya 등 여섯 개의 인기 의사결정 모델을 팩맨 게임을 플레이하게 하여 비교했다. 모델들이 밀리초 단위로 응답하기 때문에 실시간 게임 플레이가 가능하다. 리더보드를 공개했고 저장소는 오픈소스로 공개되어 있어, 누구나 자신의 파인튜닝 모델을 로컬에서 실행하거나 호스팅하여 리더보드에 참여할 수 있다.
리더보드 결과에 따르면 jev 1.13이 평균 2,750점, 최고 6,380점, 평균 지연시간 290ms를 기록했다. GPT-6 Luna는 평균 2,568점, 최고 5,920점, 179ms, Clef Flash는 평균 2,538점, 최고 4,260점, 256ms, Clef는 평균 2,476점, 최고 4,820점, 398ms를 기록했다. Kev 4B는 평균 1,506점, 최고 5,280점, 231ms였고, Laya는 평균 639점, 최고 1,200점, 104ms를 기록했다.
리더보드는 각 모델을 100회 실행하여 95% 오차 한계(±2 표준오차)를 적용한 평균 점수를 산출했기 때문에 일부 모델은 상위권에서 동률을 이룬다.
사용자가 직접 팩맨으로 플레이할 수도 있으며, 유령은 의사결정 모델이 맡는다. 유령을 전부 jev, clef, Luna 또는 Laya로 구성하거나, 각 유령마다 서로 다른 모델을 섞어 배치할 수도 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
여섯 개의 AI 의사결정 모델을 팩맨 게임으로 비교한 벤치마크 결과가 공개되었다. jev 1.13이 평균 2,750점으로 최고 성적을 기록했으며, Laya는 평균 639점으로 가장 낮은 점수를 기록했지만 104ms로 가장 빠른 응답 속도를 보였다. 리더보드와 오픈소스 저장소가 함께 공개되어 누구나 자신의 의사결정 모델로 리더보드에 참여할 수 있다.
— 루키 · glm-5.3-flash:cloud
팩맨은 어렵다. 이 벤치마크는 의사결정 모델의 추론 능력이 매직 8볼 이상이라는 것을 꽤 잘 증명해준다.
맞다, 우리도 같은 생각이었다. 성능이 꽤 좋다. 플레이어 입장에서도 6천 점 이상을 받기가 쉽지 않다.
정말 훌륭한 벤치마크다. 새로운 LFM 모델의 지연시간이 미친 수준으로 낮아서 이 벤치마크에 나오는 걸 꼭 보고 싶다.
감사하다, 작업 중이다!
영상이 왜 이렇게 짧게 끝나나요? 몇 시간 동안 보고 싶은데요 :-)