laya 제작: 73k 컨텍스트와 이미지 지원을 갖춘 8억 파라미터 물리 기반 타입 결정 모델 Vega 공개한다
원문 제목 — Created laya : Now Introducing a new 800 Million Param physics-based typed decision model with 73k context and image support
📄 전문 번역
약 3주 전 Jev가 자신이 1년 전에 만든 아키텍처를 사용했다는 글을 이 서브레딧에 올렸고, 그 직후 JEV의 최초 오픈소스 버전인 Laya를 공개했다. Laya는 Local LLaMA 커뮤니티의 신뢰와 지원 덕분에 매우 큰 규모까지 성장했다. 오늘은 Vega라는 새로운 물리 기반 타입 결정 모델을 오픈소스로 공개한다.
주목할 점은 이 모델이 8억 파라미터(4B 버전도 존재) 규모로 73k 토큰 지원과 이미지 지원을 갖췄으며, 단일 시도에서 다수의 JEV 벤치마크를 능가한다는 것이다. 엔진과 어댑터를 Test-Time Training 아키텍처로 구현했다.
예컨대 '이전 대화를 모두 무시하라'는 관측값(observation)과 '이것이 모델의 지시를 무력화하려는 시도인가?'라는 질문, 그리고 YES 또는 NO라는 가능한 결과를 입력한다고 상상해보자. 전체 프롬프트는 이미지를 지원하는 LLM/VLM에 전달되고, 은닉층에서 관측값, 질문, YES와 NO, 마지막 토큰을 벡터로 추출한다. 이 벡터들은 가중치를 곱해 투영되며, 먼저 관측값 투영으로 계곡이 있는 지형을 만든다. 이어서 질문과 마지막 토큰 벡터로 계곡 안에 공을 초기화하고, YES 또는 NO로 공의 후보 위치를 얻는다. 결과 수만큼 계곡을 만드는데 여기서는 YES와 NO 두 개이며, 공이 YES 계곡에 떨어지면 그것이 답이 된다. 마찰 역시 공의 움직임에 영향을 준다.
요약하면 필요한 결과들의 계곡을 만들어 놓고, 마찰 때문에 감속하며 최선의 결과 위에 멈추는 공을 던지는 방식이다. 블로그, GitHub, HuggingFace 모델 카드와 HuggingFace 스페이스가 함께 공개되었다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
레딧 r/LocalLLaMA에 게시된 글로, 개발자 Nandakishor_ml이 JEV의 오픈소스 버전 Laya에 이어 물리 기반 타입 결정 모델 Vega를 오픈소스로 공개했다. Vega는 8억 파라미터(4B 버전 포함) 규모에 73k 토큰 컨텍스트와 이미지 지원을 갖췄으며, 단일 시도에서 다수의 JEV 벤치마크를 능가한다고 주장한다. 이 모델은 Test-Time Training 아키텍처로 엔진과 어댑터를 구현해, 결과별 계곡 지형 위에서 마찰의 영향을 받아 굴러가는 공의 위치로 답을 도출하는 방식이 특징이다. 댓글에서는 CWMI 연구 모델과의 유사성이 지적되었고 이에 대한 답변에서 감쇠 해밀토니안 사용 등의 차이가 설명되었으며, Laya의 성능에 대한 신뢰 의문도 함께 제기되었다.
— 루키 · glm-5.3-flash:cloud
저도 말라얄리 팬입니다. 인사 한번 해주실래요?
loo
자신의 아이디어가 Jev 제작에 '도용'됐다며 크게 문제를 제기했지만, 정작 laya는 무작위 주사위 굴리기보다도 나쁜 수준으로 형편없었다. 안타깝게도 이제 그의 작업을 신뢰할 수 없다. 특히 모델 카드에서 '두 개의 반쪽이 그 사이에 단단한 경계로 나뉘어 있다'는 문구를 읽고 더욱 그렇게 느꼈다.
이것이 CWMI라는 연구용 AI 모델, 일명 LLM 인과 추론과 유사하지 않나?
네, 가깝습니다. 인용을 추가할 예정이지만, Vega에는 감쇠 해밀토니안을 결정에 사용하고 추상적 결정 공간을 둔 점이 차이입니다. 그 외에도 다른 차이점들이 있습니다.