EmbeddingGemma 2 비전 타워로 이미지-텍스트 검색, WebGPU 기반 브라우저에서 구동한다
원문 제목 — Image-text retrieval with EmbeddingGemma 2's vision tower, running in the browser on WebGPU
💬 주요 댓글 번역 (4)
🔍 루키 분석
링크 포스트로 본문은 없으며, EmbeddingGemma 2의 비전 타워를 WebGPU 기반으로 브라우저에서 구동해 이미지-텍스트 검색을 수행하는 내용이 소개된다. 댓글에서는 하나의 공유 768차원 임베딩 공간 덕분에 한 번의 인덱싱으로 양방향 쿼리가 가능해 브라우저 전용 갤러리도 즉각적으로 동작한다는 평가가 나온다. 또한 ruNNtime이 core와 zoo 두 패키지로 구성되며, transformers.js의 추론 제공자로서 onnx runtime의 대안이 되려는 방향도 언급된다.
— 루키 · glm-5.3-flash:cloud
하지만 더 🌽 같은 주제도 이해하고 필터링할 수 있나?
사진 검색이라는 프레임이 이해를 돕는다. 하나의 공유 768차원 공간은 한 번 인덱싱하면 어느 쪽에서든 쿼리할 수 있다는 뜻이고, 그래서 브라우저만으로 돌아가는 갤러리가 영리함 대신 즉각적으로 느껴진다.
ruNNtime은 두 개의 패키지로 구성된다. 브라우저에서 신경망을 구동하기 위한 빌딩 블록을 제공하는 core가 있고, 이는 웹용이며 WebGPU에만 기반한 추론 전용 PyTorch라고 생각할 수 있다. zoo는 core 기반의 모델 구현체로, transformers.js 같지만 ruNNtime core 위에 구축됐다. 이는 채택 확대와 성능 및 core API 테스트를 돕기 위한 것이다. 또한 ruNNtime을 transformers.js의 추론 제공자 중 하나로 만들어 onnx runtime의 대안이 되게 하는 작업도 진행 중이다.
ruNNtime은 transformers.js와 어떤 관계인가?