Mistral Large 4, 669개 임상 판단 평가에서 공동 1위 달성 🔥 첫날 617개 정답
원문 제목 — Mistral Large 4 just tied #1 on 669 clinical decisions 🔥 617 right on day 0, lev
📄 전문 번역
Mistral Large 4가 669개 임상 판단 평가에서 공동 1위를 기록했다 🔥
첫날 617개 정답을 기록하며 Jev, Clef, pplx-decider와 어깨를 나란히 했다. 최상위권 모델 중 유일하게 중대한 실점이 전혀 없는 모델로, 응급 상황을 놓친 사례도 없고 알레르기를 복용 중인 약물로 오판한 사례도 없다.
Le Chonk도 환자 분류(triage)가 가능하다 😅: 240개 중 238개를 맞히며 지금까지의 최고 기록을 세웠다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
Mistral Large 4가 669개 임상 판단 벤치마크에서 공동 1위를 차지했으며, 첫날 617개 정답으로 Jev, Clef, pplx-decider와 동률을 이뤘다. 특히 최상위권 모델 중 유일하게 응급 상황 누락이나 알레르기 오판 같은 중대 실수가 없다는 점이 부각된다. Le Chonk는 240개 중 238개를 맞히며 분류 평가 최고 기록을 세웠다. 댓글에서는 평가 데이터의 출처와 벤치마크 포화 우려가 제기되었고, @RoupenMD는 실제 프로덕션 의료 프로젝트 경험을 바탕으로 만든 벤치마크라며 일부 항목이 System One에도 포함되었다고 설명했다.
— 루키 · glm-5.3-flash:cloud
이 평가에는 어떤 데이터가 사용되었나요?
꽤 포화 상태에 이른 벤치마크처럼 보이네요 ㅋㅋ
이 벤치마크들은 실제 사용 사례와 프로젝트를 기반으로 내가 구축해 온 임상 벤치마크다. 의료 프로젝트를 프로덕션 환경에 배포해 본 경험이 있어서, 모든 작업에 대해 현실적인 헬스케어 평가를 갖추고 싶었다. 일부는 이제 System One에서 임상 및 롱비티 항목 옆에 포함되어 있다.