Ollama로 구동되는 macOS 로컬 AI 어시스턴트 'Jarvis' 공개 — 음성, 화면 읽기, Mac 제어, 출처 기반 웹 리서치, 에이전트 팀 탑재
원문 제목 — I built Jarvis — a local AI assistant for macOS that runs on Ollama: voice, screen reading, Mac control, web research with sources, and agent teams
📄 전문 번역
개발자가 Ollama를 통해 로컬 모델로 구동되는 Mac용 JARVIS 스타일 어시스턴트를 공개했다. 계정이나 API 키가 필요 없고 모델은 절대 머신 밖으로 나가지 않는다. 비상업적 용도로 무료이며 GitHub에 공개돼 있다.
음성 기능은 Whisper 기반 오프라인 웨이크 워드('Jarvis…'), Kokoro 신경망 음성, 문장 중간 끼어들기를 지원하며 아랍어도 이해한다. Apple Vision OCR과 로컬 비전 모델(qwen3.5)로 화면과 카메라를 보고, '이 오류가 뭐야?'라고 물으면 화면의 정확한 텍스트를 읽어준다. Accessibility로 어떤 앱에서든 버튼을 누르고, 브라우저를 제어하고, 이름으로 파일을 열고, 이메일을 작성해 전송하며(매 전송마다 승인 필요), Calendar와 Reminders를 다루고 Shortcuts를 실행하는 식으로 Mac을 제어한다. Esc는 비상 정지이며 비밀번호 관리자, 시스템 설정, 터미널, 은행 사이트는 접근이 금지돼 있다.
웹 리서치는 검색 후 상위 페이지를 읽고 질문에 답하는 구절을 골라 번호가 매겨진 인용과 함께 답하며, 실시간 날씨는 키가 필요 없는 Open-Meteo에서 가져온다. 에이전트는 작업별 단일 에이전트로 만들거나 캔버스에서 팀으로 엮을 수 있고, 대화 상대 에이전트가 다른 에이전트들에게 브리핑하고 결과를 합친다. 팀 안에 팀을 넣을 수도 있어 헬프데스크, M365, 네트워크, 보안, 스크립팅, SQL 전문가로 구성된 IT 팀 사례를 소개하며, 'Talk to'에서 고르거나 '월요일 신입 직원 세팅을 IT 팀에게 부탁해'라고 말하면 된다. Telegram 봇은 아웃바운드 연결만 해서 아무것도 노출되지 않으며, Mac에서 '그거 나한테 보내'라고 하면 답이 휴대폰에 도착한다. Apple Music 전 곡 재생, 로컬 네트워크를 통한 Tapo/Kasa 스마트 조명 제어, FaceTime 통화, 루틴('밤 11시에 조명 꺼', '평일 아침 브리핑'), 장기 기억, 어떤 macOS 권한이 빠졌는지 알려주는 설정 점검도 갖췄다.
작업의 대부분은 로컬 14B 모델(qwen2.5:14b)을 단순 챗봇이 아니라 신뢰성 있게 움직이게 만드는 데 쓰였다. 임베딩 유사도로 요청에 필요한 도구만 프롬프트에 넣고 모든 요청을 동일한 캐시된 프리픽스로 시작해, 첫 단어까지 중앙값 시간을 8초에서 약 6초로 낮췄다. 'YouTube 열기', '일시정지', '10분 타이머', '조명 꺼' 같은 흔한 명령은 모델을 아예 거치지 않고 1초 미만에 응답한다. 모델이 실제 도구가 수행하지 않은 전송이나 저장을 주장하면 실행을 유도하고 그래도 안 됐으면 해당 주장을 답변에서 잘라내는 정직성 가드를 두었으며, '아니오'를 존중하고 되풀이하지 않는다. 약 90개의 실제 요청을 가짜 도구로 재생하는 평가 스위트로 프롬프트나 모델 변경을 추측 대신 측정할 수 있다.
설치에는 Apple Silicon Mac(최소 16GB, 24GB 이상 권장), Python 3.11 이상, Ollama가 필요하고 qwen2.5:14b를 내려받은 뒤 시작 스크립트를 실행하거나 설치 명령으로 Jarvis.app을 만들 수 있다. 스택은 FastAPI, React, Electron이다. macOS 전용이며 14B 모델도 가끔 틀리므로 위험한 작업은 먼저 권한을 요청하고, 웹 리서치, 날씨, Apple Music 검색, Telegram은 사용할 때만 온라인에 접속한다. 작성자는 16~24GB Mac에서 도구 호출에 잘 맞는 모델과 이런 어시스턴트의 다음 기능에 대한 피드백을 요청했다.
💬 주요 댓글 번역 (4)
🔍 루키 분석
Ollama 기반 로컬 모델로 구동되는 macOS용 AI 어시스턴트 Jarvis가 GitHub에 공개됐다. 음성, 화면 인식, Mac 제어, 출처 기반 웹 리서치, 에이전트 팀 기능을 갖추었으며, 14B 모델의 도구 호출 신뢰성을 높이기 위해 캐시된 프롬프트, 간단 명령 우회, 정직성 가드, 평가 스위트를 적용했다. Apple Silicon 16GB 이상을 요구하고 웹 리서치, 날씨, Apple Music, Telegram 사용 시에만 온라인에 접속한다. 작성자는 16~24GB Mac에서 도구 호출에 적합한 모델에 대한 피드백을 요청하고 있다.
— 루키 · glm-5.3-flash:cloud
공감한다.
Ollama에 대한 지적은 타당하다. Apple Silicon에서는 MLX나 llama.cpp 서버가 더 빠를 수 있고 아직 이들과 벤치마크로 비교해보지 않았다. Ollama를 선택한 이유는 사용자가 모델을 설치하고 관리하기 가장 쉬운 도구이기 때문이다. 속도 작업 대부분은 불필요할 때 모델을 호출하지 않는 데 쓰였다. YouTube 열기, 일시정지, 조명 끄기, 타이머 같은 간단한 명령은 모델을 완전히 건너뛰고, 모든 요청은 동일한 캐시된 프롬프트로 시작해 14B 모델의 첫 단어까지 중앙값 시간을 약 8초에서 약 6초로 줄였다. MLX, llama.cpp, LM Studio를 가리킬 수 있는 OpenAI 호환 엔드포인트 지원도 좋은 아이디어다.
이름조차 창의적이지 않다.
ㅋㅋㅋ 맞다, 이름이 전혀 창의적이지 않다는 데 동의한다. 하지만 변호하자면 설정에서 이름을 바꿀 수 있고 웨이크 워드도 따라 바뀌니 Kevin이라고 불러도 된다. 이름 제안도 언제든 환영한다.