Xplore가 오늘 RWE-bench를 공개했다. 현직 엔지니어가 작성한 기계, 전기, 항공우주 분야의 20개 과제다. 하나는 2,400rpm을 견뎌야 하는 디젤 크랭크샤프트이고, 하나는 실제 FPGA 보드에서 DDR3 메모리 버스를 라우팅하는 것이며, 하나는 터빈 베인에 대한 CFD다. 모델이 결과를 채점하지 않는다. 프로그램이 모든 설계를 모든 요구사항과 대조해 확인하고, 필요한 곳에서는 물리 솔버를 실행한다.

GPT-6 Astra가 37%로 선두이며, Opus 5.5는 약 29%, GPT-6.1 Sol은 약 25%를 기록했는데, 실행당 비용은 10달러다. Astra와 Opus는 실행당 약 6배의 비용으로 각각 12점과 4점을 더 얻는다.

37%는 사람이 어느 정도 해낼지 물어보기 전까지는 낮게 들린다. 길거리에서 뽑은 사람에게 같은 과제와 도구를 주면 아무것도 통과하지 못한다. CAD로 부품을 그리고 시뮬레이션을 돌리는 단계조차 넘기지 못하기 때문이다. 공학 졸업생은 한 달의 작업 끝에 자신의 분야 과제 한두 개를 통과할 수 있을 것이다. 전문가는 자신의 분야 과제, 약 3분의 1을 각각 약 일주일에 걸쳐 통과할 것이다. 모델은 실행당 몇 시간 만에 세 분야 모두에서 일부를 해낸다. 인간의 소요 시간과 수행 능력은 필자의 대략적인 추정이며, Xplore는 인간 점수를 공개하지 않는다. (하지만 다음에는 공개해야 한다고 생각한다!)

코드가 빠르게 좋아진 이유는 답을 검증할 수 있기 때문이며, 대부분의 물리적 엔지니어링은 코드보다 훨씬 긴 피드백 루프를 가진다. 아직 할 일이 많지만 이제는 점수판이 있는 작업이 됐고, 필자가 본 바로는 다음 도약을 만드는 것이 바로 이 점이다.

필자는 과제 목록, 인간과의 비교, 그리고 누가 선두인지보다 채점 방식이 더 중요하다고 생각하는 이유를 정리해 블로그에 게시했다.