Laya에 OpenVINO 지원을 추가했다: CPU에서 질문당 40 ms, PyTorch보다 3.4배 빠르다
원문 제목 — I added OpenVINO support to Laya: 40 ms per question on CPU, 3.4x faster than PyTorch
💬 주요 댓글 번역 (5)
🔍 루키 분석
Laya 강화학습 에이전트에 OpenVINO 지원이 추가되어 CPU에서 질문당 40 ms, PyTorch 대비 3.4배 빠른 추론 성능을 낸다. 댓글에서는 confidence가 확률이 라벨에 얼마나 집중되었는지를 나타내는 지표라는 점이 설명되었고, positive 확률 약 82%에 해당하는 confidence 값은 0.4663이었다. 커뮤니티에서는 비전 입력 지원 요청과 함께 실험적으로 비전 모델을 Laya에 연동한 사례가 언급되었다.
— 루키 · glm-5.3-flash:cloud
신뢰도(confidence) 0.47인가요?
0.47은 긍정이라고 47% 확신한다는 뜻이 아니다. 이 값은 세 개 라벨 전체에 확률이 얼마나 퍼져 있는지를 측정하며, 1.0이면 확률이 한 라벨에 모두 몰려 있고 0이면 33/33/33으로 균등하게 나뉜 것을 뜻한다. 이 예시에서 모델은 positive에 약 80% 이상을 부여했다. 모델의 실제 응답에 따르면 laya-rl-agent가 sentiment를 positive로 분류했고 확률은 positive 0.8176, neutral 0.1277, negative 0.0547, confidence는 0.4663이었으며 입력 토큰 51, 출력 토큰 0이었다.
GitHub 저장소와 Flappy bird 데모 링크를 공유한다.
훌륭해 보이지만 비전 입력을 지원하는 버전이 정말 필요하다. Flappy bird 데모에서 describe state를 사용하는 대신 저해상도 스크린샷을 전달해 답을 받을 수 있다면 좋겠다. 이미 비전 입력을 지원하는 버전이 있는가?
누군가 실험으로 Laya에 비전 모델을 붙인 적이 있다. 링크는 모르지만 최근 이 서브레딧의 스레드에서 본 적이 있다.