최근 local model을 계속 연구하고 있으며, 회사에 백업용 머신 한 대를 둘지 고민하고 있다. 이유는 간단하다. 지금 코드를 작성하고 제품을 만드는 일에서 AI에 너무 의존하고 있어, 어느 날 구독이나 API를 갑자기 사용할 수 없게 되면 많은 작업이 바로 멈출 수 있기 때문이다. 그래서 지금은 AI를 볼 때 한 단계 더 생각하게 된다. 모델 뒤의 연산력이 어디서 오는지, 작업을 어디서 돌릴 수 있는지, 다른 배포 선택지는 없는지 말이다.

TermHive 같은 멀티 agent 도구를 직접 만들었고, 이전에 소재 생성 도구를 만들 때도 서로 다른 도구와 서비스를 연결하는 문제를 다뤄왔다. 소재 생성 파이프라인에는 여러 서비스의 라우팅과 CLI fallback을 추가해 흐름이 다른 경로로 갈 수 있게 했다. 이런 것을 만들다 보면 전체 파이프라인이 계속 돌아갈 수 있는지, 각 단계에 실제로 얼마나 많은 모델 능력이 필요한지 신경 쓰게 된다. repo 하나를 이해하고 복잡한 프로그래밍 문제를 처리하는 일과, 이 데이터를 어느 분류에 넣을지 판단하거나 관련 문서를 찾고 다음 흐름을 결정하는 일은 필요한 능력이 사실 크게 다르다. 그래서 최근 소형 모델과 온디바이스 AI의 발전은 볼 가치가 충분하다고 생각한다.

Google이 10월 6일 공개한 EmbeddingGemma 2는 완전 모델 기준 740M 파라미터로, 텍스트·이미지·오디오 등의 콘텐츠를 벡터로 변환해 의미 검색과 검색을 수행한다. 텍스트만 처리할 때는 270M 모듈로도 투입할 수 있으며, 이런 작업을 온디바이스에서 끝내도록 하는 것이 포지션이다. Liquid AI도 10월 7일 d1-3B와 실험판 d1-omni-600M을 공개했는데, decision model 방식으로 한 번의 forward pass만으로 선택을 출력해 분류와 의도 판단 같은 작업을 전문으로 처리한다. 이런 발전을 보며 떠오르는 질문은, agent 워크플로우의 몇 단계를 분리해 더 경량인 모델에 맡길 수 있을까 하는 것이다. 모델이 범위가 명확한 한 가지 일을 잘 해낸다면, 배포에 필요한 장비와 비용, 방식도 함께 바뀔 여지가 있다.

Acurast를 볼 때 흥미롭다고 느낀 지점도 바로 여기다. Acurast는 전 세계에 흩어진 휴대폰을 연산 네트워크로 연결하고, 개발자가 작업을 제출하면 Matcher가 작업 수요와 기기 자원을 매칭해 실제 연산은 휴대폰 노드가 실행한다. 그런데 작업을 남의 휴대폰에 맡기려면 연산력만으로는 부족하고, 기기 상태를 확인할 방법도 필요하다. Acurast는 Android Key Attestation, iPhone App Attest 같은 하드웨어 인증 메커니즘으로 기기와 앱의 상태를 점검하고, 인증이 취소된 노드는 지속적으로 제외한다. 작업 스케줄링, 기기 검증, 배포 도구 같은 요소가야말로 휴대폰 연산력이 하나의 서비스가 될 수 있는지를 가르는 핵심이라고 생각한다. 개발 문서에는 이미 GGUF 모델 배포 예시가 있어, 휴대폰 노드에서 LLM 서비스를 띄우고 OpenAI 스타일 호환 API를 제공하는 방법을 보여준다. agent 도구를 직접 만드는 입장에서 이는 기존 파이프라인에 어떻게 연결할지 연구할 출발점이 된다.

첫 테스트 작업을 고른다면 독립 실행이 가능하고 데이터 전송량이 적으며 실시성 요구가 낮은 작업부터 찾을 것이다. 예컨대 공개 데이터 분류, 배치 텍스트 처리, 주기적인 간단 요약 생성 같은 작업으로, 모델이 이를 잘 해내는지 확인한 뒤 작업 제출부터 결과 수신까지의 시간과 전체 비용을 측정하려는 것이다. 개발자 입장에서 결국 묻게 되는 것은 배포가 번거로운지, 노드가 오프라인일 때 어떻게 처리하는지, 실패 후 재시도까지 감안해도 시간과 비용이 여전히 합리적인지이며, 이런 문제가 해결돼야 더 많은 작업을 올릴 생각을 할 것이다. Acurast 메인넷은 올해 1월 이미 출시됐으며 공식 발표 기준 누적 접속 규모가 33만 대를 넘는 휴대폰에 이르고, ACU는 배포 비용과 연산력 보상, 스테이킹, 거버넌스에 참여하는 네트워크 운영의 일부다. 앞으로 주목할 것은 이런 기기가 어떤 실제 작업을 맡을 수 있는지, 개발자가 한 번 쓴 뒤 계속 쓸지이며, 소형 모델이 특정 작업을 잘 해낼수록 휴대폰 같은 기기가 참여할 수 있는 AI 작업이 늘어날 것으로 판단한다. Acurast 입장에서는 이런 능력을 배포하기 쉽고 안정적으로 실행되는 서비스로 정리하는 것이 주목할 기회다. 예전의 서랍 속 오래된 휴대폰은 예비용 기기 정도였지만, 이제는 어떤 AI 워크플로우에서 계속 일하는 하나의 노드가 될 수 있는가라는 연구할 가치가 있는 방향이 하나 더 생긴 셈이다. AI나 agent를 하고 있거나 DePIN에 관심 있는 사람은 Acurast와 ACU를 살펴볼 만하다. Always DYOR.