Ollama Cloud, 추론은 직접 수행하나 프롬프트는 제3자 '모델 추론 제공자'에 전달하나
원문 제목 — Does Ollama Cloud serve inference itself, or forward prompts to third-party "model inference providers"?
📄 전문 번역
Ollama Cloud가 실제로 모델을 어떻게 서비스하는지 파악하던 중 개인정보처리방침에서 공식 답변을 찾기 어려운 의문이 제기됐다. 공식 문서는 클라우드 모델이 'Ollama의 클라우드에서 실행'되며 프롬프트와 응답은 일시적으로 처리되고 학습에는 절대 사용되지 않는다고 설명한다. 그러나 개인정보처리방침 제5조(정보 공유)는 데이터가 '서비스 제공을 위해' 제3자와 공유될 수 있다며 예시로 '결제를 위한 Stripe, 클라우드 인프라 제공자, 모델 추론 제공자'를 열거하고 있다.
'클라우드 인프라 제공자'와 '모델 추론 제공자'는 별개의 카테고리로 나열돼 있다. 모든 추론이 Ollama 자체 인프라에서 실행된다면 두 번째 카테고리는 필요하지 않을 것이다. 이는 가중치가 아직 공개되지 않은 모델에서 구체적으로 문제가 된다. 가중치 공개가 10월 23일로 예고됐던 minimax-m3.1-flash를 Ollama는 가중치 공개 전에 클라우드 모델로 추가했는데, 이 모델의 추론은 실제로 누가 수행하는 것인가.
특정 클라우드 모델의 추론이 항상 Ollama에 의해 실행되는지, 아니면 제3자 제공자에 전달될 수 있는지가 확인 대상이다. 어떤 제공자가 어떤 모델을 서비스하는지 명시한 공개 서브프로세서 목록이나 DPA가 존재하는지도 묻고 있다. 최악을 가정하려는 것이 아니라 데이터 흐름이 신뢰의 문제가 아닌 검증 가능한 사안이 되길 바랄 뿐이며, 놓친 공식 자료가 있다면 링크를 환영한다는 입장이다.
💬 주요 댓글 번역 (4)
🔍 루키 분석
이 게시물은 Ollama Cloud의 개인정보처리방침 제5조가 '클라우드 인프라 제공자'와 별도로 '모델 추론 제공자'를 열거한 점을 근거로, 추론이 자체 인프라에서 수행되는지 아니면 제3자에 위탁되는지 짚은 글이다. 댓글에서는 요금제 FAQ가 Nvidia Cloud 파트너를 통한 모델 실행을 언급한다는 점과 ZDR이 선언적 수준에 그친다는 지적이 나왔다. 가중치 공개 전 클라우드 모델로 등록된 minimax-m3.1-flash의 추론 주체를 확인할 공개 서브프로세서 목록이 없다는 점이 핵심 쟁점으로 부각됐다.
— 루키 · glm-5.3-flash:cloud
그 해석이 아마 맞을 것이다. 아무것도 인프라 밖으로 나가지 않는다면 방침에 별도의 모델 추론 제공자 카테고리가 존재하지 않을 텐데, 이런 조항은 가설이 아니라 실제 행위를 다루도록 작성되기 때문이다. 아는 한 어떤 제공자가 어떤 모델을 서비스하는지 명시한 공개 서브프로세서 목록은 없으며, 이것 자체가 컴플라이언스 관점에서는 답이다. 프롬프트의 행방을 알아야 한다면 Ollama 데이터센터를 벗어날 수 있다고 가정하고 민감한 것은 셀프호스팅해야 한다. 클라우드는 테스트용 용도로 쓰면 괜찮다.
요금제 페이지의 FAQ에 따르면 모델 실행에 Nvidia Cloud 파트너를 사용한다고 나와 있다. 이 파트너들은 CoreWeave 같은 회사들로, 데이터센터와 하드웨어를 운영하면서 Ollama 같은 스타트업에 원시 컴퓨팅 및 GPU 용량을 임대한다.
나도 같은 질문을 하고 있다. 이들의 ZDR은 계약상 보장이 아니라 선언적일 뿐이다. 추론을 하도급하면서 공급자와의 계약이 진짜 ZDR이라면 사용자와도 계약상 ZDR을 맺을 수 있을 것이다. Mistral Large 4 역시 가중치 공개 전에 출시됐다. Nvidia 추론을 사용하고 유럽에도 서버가 있다고 알려져 있지만 정확한 정보는 없다. 많은 사람이 바로 이 ZDR 때문에 이들을 이용하는데 그것은 마케팅 논거에 불과하다. 어쨌든 중국 모델의 데이터가 중국 정부로 흘러가지 않기를 바랄 뿐이며, 어느 쪽이든 하지 않는 편이 좋다…
안타깝게도 ZDR은 거의 항상 선언적이다. 진정한 ZDR을 위해서는 완성 결과를 해당 키에만 전송하도록 구성된 전용 클러스터가 필요하다.