최근 며칠간 TypeSafe Jev의 로컬 대체제 여러 가지를 시험해봤는데, 적어도 내 용도인 데이터 분석에서는 어느 것도 Jev의 성능에 미치지 못했다. 그래서 며칠 만에 개발됐다는 새 드롭인 대체재가 벤치마크에서 Jev를 이긴다는 주장을 읽고는 매우 회의적일 수밖에 없다.

이 클래스의 모델은 LLM보다 오래전부터 존재했다. 나도 Jev가 더 크고 학습이 잘 된 모델이라고 생각했지만, 실제로는 개발 경험만 좋고 마케팅 예산이 큰 평범한 BERT일 가능성도 배제할 수 없다고 봤다. 수정: 합성 테스트 스위트를 만들어 Von과 Jev, 그리고 gliner2에 모두 돌려본 결과 작업 정확도는 Von 65.4%, Gliner2 79.5%, Jev 97.4%였다.

좋은 소식이다. 테스트 스위트를 생성할 때 사용한 파라미터를 이슈로 남기거나 알려줄 수 있을까? 체크포인트를 더 공개할 예정이라 이 정보가 큰 도움이 된다.

훌륭하다. laya도 시험해볼 수 있을까?

유망해 보인다. 오늘 안에 시험해볼 예정이다.