웹브라우저에서 WebGPU로 로컬 구동되는 LFM3-VL-2B, 실시간 비디오 캡셔닝 구현한다
원문 제목 — Real-time video captioning with LFM3-VL-2B running locally in-browser on WebGPU
💬 주요 댓글 번역 (5)
🔍 루키 분석
LiquidAI의 소형 비전-언어 모델 LFM3-VL-2B를 WebGPU 기반으로 브라우저 안에서 로컬 실행해 실시간 비디오 캡셔닝을 수행하는 데모가 공개되었다. 댓글에서는 토큰 주입을 통해 LLM에 근실시간 비전 입력을 제공하거나, 필요시 더 큰 비전 모델을 호출하는 방식의 활용 가능성이 논의되었다. 다만 한 사용자는 자세 감지 등 기본 문제에서 자신감 있게 오답을 내놓고 OCR에서 기호를 혼동한다며 Qwen3.5-9B, Gemma4-12B보다 성능이 낮다고 평가했고, 엣지 디바이스용 및 추가 학습의 시작점으로는 유용할 것이라는 견해가 제시되었다.
— 루키 · glm-5.3-flash:cloud
그나저나 괜찮은 실시간 비디오 해설 도구 있나요?
이 글 저장해둡니다
이거 정말 미쳤다. 가상으로, 이걸 이용해 토큰 주입 방식으로 모델에 근실시간(1~2초마다) 입력을 제공할 수 있을지 궁금하다. 아니면 그냥 LLM을 위한 초고속 비전 호출용으로 쓰고, 뭔가 더 자세히 보고 싶은 것을 발견하면 더 나은 비전 모델을 호출하게 할 수도 있겠다. 대박이다.
하지만 진짜 비전 모델은 훨씬 더 많은 일을 하는 것 아닌가? 이건 사실상 공간 해상도를 전혀 제공하지 못한다. 그래도 필요할 때 더 나은 모델을 호출한다는 발상은 맞는 것 같다. 그게 없다면 기본적으로 시각장애인의 시각과 비슷하겠지
기본적인 몇 가지 문제(사람이 무릎을 꿇었는지, 앉았는지, 엎드렸는지, 서 있는지 감지)로 테스트해봤는데 자신만만하게 틀렸다. 모든 문제에서 unknown을 답할 수도 있었지만 그러지 않았다. 답변은 Qwen3.5-9B와 Gemma4-12B보다 나쁘다(크기를 감안하면 놀랍지 않다). OCR 작업에서는 여러 이미지에서 별표(*)를 더하기(+)로 혼동했다. 엣지 디바이스 용도와 '특화되도록 만들어진: 지속 사전학습과 자체 포스트트레이닝의 시작점'이라는 용도로는 아마 훌륭할 것이다.