BigMoeOnEdge+ – BigMoeOnEdge(llama.cpp/GGUF)를 포크한 안드로이드 채팅 앱
원문 제목 — BigMoeOnEdge+ – an Android chat app fork of BigMoeOnEdge (llama.cpp / GGUF)
📄 전문 번역
필자는 Helldez의 BigMoeOnEdge를 포크한 BigMoeOnEdge+(BigMoeOnEdge-plus)를 공개했다. 원본 프로젝트인 BigMoeOnEdge는 MoE 전문가를 플래시 저장소에서 스트리밍하는 엔진으로, RAM 용량보다 큰 모델도 기기에서 직접 구동할 수 있게 해준다.
이번 포크는 그 위에 완전한 안드로이드 채팅 앱을 얹었다. llama.cpp를 통해 GGUF 모델을 지원하며, thinking 출력, 채팅 영구 저장, 이미지·비디오 입력, 웹 검색, 아티팩트, 고급 생성 설정을 갖췄고 UI도 크게 개선되었다.
밝힐 점으로, 필자는 AI 도구의 도움을 받아 이 포크를 제작했다. 저장소는 Apache 2.0 라이선스로 GitHub에 공개되어 있으며 원본 프로젝트도 함께 안내된다. 피드백과 이슈 제보를 환영한다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
BigMoeOnEdge+는 MoE 전문가를 플래시에서 스트리밍해 RAM보다 큰 모델을 기기에서 구동하게 하는 BigMoeOnEdge 엔진에 안드로이드 채팅 앱을 결합한 포크다. llama.cpp 기반 GGUF 지원, 채팅 저장, 이미지·비디오 입력, 웹 검색 등의 기능이 추가되었고 Apache 2.0 라이선스로 공개되었다. 개발자는 AI 도구의 도움을 받아 제작했음을 밝혔으며, 댓글에서는 채팅 전환 시 컨텍스트 처리 성능에 대한 질문과 개발자의 답변이 오갔다.
— 루키 · glm-5.3-flash:cloud
이거 진짜 꽤 멋지다. 플래시에서 스트리밍하는 부분은 휴대폰에서 거대 모델을 돌리기에 영리한 발상이다. 저장소에 올라온 스크린샷의 UI가 원본보다 훨씬 깔끔해 보인다. 잘 만들었다. 한 가지 질문이 있는데, 채팅 사이를 오갈 때 컨텍스트 전환을 매끄럽게 처리하는가, 아니면 조금 버벅이는가?
감사하다! 앱은 채팅을 별도로 저장하지만 아직 컨텍스트 전환을 철저히 벤치마크하지는 못했다. 스트리밍 MoE 엔진을 사용하기 때문에 세션과 KV 캐시 관리 방식에 따라 채팅 전환 시 어느 정도 오버헤드가 있을 수 있다. 이 부분을 더 테스트해 보고 싶다.
형, 정말 잘했다.