클라우드에 인프라를 넘기지 않고 IT 사무실에서 실제로 도움이 되는 AI 에이전트를 원했지만 에이전트에 root 권한을 맹목적으로 맡길 수는 없었다. 그래서 Ollama로 완전 오프라인에서 구동되는 가상 동료 플랫폼 Orlok을 셀프호스팅 형태로 구축했다.

오늘 아침부터 아무도 인쇄를 할 수 없는데 app-01을 확인해 달라는 요청이 오면 에이전트가 PowerShell로 읽기 전용 점검을 수행해 스풀러 서비스가 중지된 것을 발견하고, 사무실 위키에서 해당 문제를 인식한 뒤 Restart-Service Spooler 실행 전에 승인을 기다린다. 승인 옵션은 한 번 허용, 항상 허용, 거부로 제공된다.

로컬 모델 측면에서 Ollama는 일급 제공자로 지원되어 클라우드 계정이 필요 없고, 원하면 Anthropic, OpenAI 및 호환 API도 함께 사용할 수 있다. 프로필은 모델과 모드의 조합으로, 명령 실행을 요청만 허용된 로컬 32B 모델이나 명령을 전혀 실행하지 못하고 위키로만 답변하는 모델 등을 구성할 수 있다. 번들 임베딩 모델로 위키가 로컬에서 색인되므로 페이지가 검색 가능해지기 위해 네트워크 밖으로 나가지 않는다. 위키, 도구, 가드레일은 모델이 아닌 Orlok에 존재해 클라우드에서 로컬로 전환해도 규칙과 지식이 변하지 않으며, 모든 호출이 기록되고 로컬 모델은 횟수만 집계되고 클라우드 모델은 비용과 월 한도가 함께 기록된다.

에이전트는 사무실 위키를 읽고 업데이트할 수 있으며, Obsidian, Notion, Joplin에서 가져오기(비밀번호와 키는 제거), 로컬 OCR을 통한 PDF와 스캔 문서 처리, 매일 밤 모순과 오래된 페이지 검토를 지원한다. SSH로 Linux, WinRM/OpenSSH로 Windows에서 작업하며 다단계 계획을 전체 또는 단계별로 승인할 수 있다. 명령은 정규식 매칭이 아닌 파싱으로 처리되고, 격리된 러너 컨테이너에서 각 사용자의 암호화된 자격 증명이 사용되며 추가 전용 감사 로그가 유지된다. 웹, 설치 가능한 폰 앱, Telegram도 지원한다.

설치는 git clone 후 docker compose up으로 진행하고 첫 실행 마법사에서 Ollama를 제공자로 추가한다. 라이선스는 소스 공개형 BSL 1.1로 개인과 비상업적 사용, 평가에는 무료이며 각 버전은 4년 후 Apache 2.0으로 전환된다. 기업의 프로덕션 사용에는 상용 라이선스가 필요하다. 작성자는 실제 서버에서 도구 호출을 맡길 수 있는 로컬 모델이 무엇인지 묻으며 피드백을 요청했다.