CrowdGPT, 데이터센터 없이 협업으로 학습하는 LLM 프로젝트 공개
원문 제목 — CrowdGPT - A collaboratively trained LLM.
📄 전문 번역
개발자가 데이터센터 없이, AI 기업들이 보통 쓰는 수백만 달러의 비용 없이 LLM을 만드는 것을 목표로 하는 프로젝트 CrowdGPT를 개발하고 있다. 이 프로젝트는 10억 개 파라미터 규모 모델을 협업적이고 공개적으로 학습시키는 것을 목표로 하며, 모두가 프로젝트의 방향에 의견을 낼 수 있는 프로토콜을 갖추고 있다.
누구나 자신의 PC로 AI를 독립적으로 학습시킨 뒤 그 기여를 글로벌 모델에 추가할 수 있다. 대부분의 미국과 중국 AI 기업들과 달리 이 프로젝트는 오픈소스일 뿐만 아니라 가중치와 함께 학습 데이터 100%를 공개한다. 누구나 자신의 깨끗한 데이터를 제출해 모델을 학습시키고 프로젝트를 새로운 방향으로 이끄는 데 기여할 수 있으며, 이를 통해 모두가 지분을 갖는 AI라는 패러다임을 만든다는 것이다.
프로젝트는 가능한 한 많은 사람에게 열려 있으며, 개발자는 프로젝트 기여를 막는 요인이 무엇인지 묻고 있다. 사람들이 멋진 새 오픈소스 모델 학습에 GPU 시간을 기꺼이 쓸 의향이 있는지, 아니면 무료 추론 크레딧 같은 보상을 원하는지 답변을 듣고 프로젝트를 개선하고 싶다는 것이다.
현재 모델은 다소 작은 10억 파라미터 규모지만 앞으로 더 크고 좋게 만들 계획이며, 현재 크기는 개념 증명에 불과하다고 밝혔다. 프로젝트에 대한 조언과 피드백은 언제나 환영하며, 프로젝트 웹사이트와 GitHub 저장소에서 코드를 확인할 수 있다.
개발자는 이 게시물이 커뮤니티 규칙을 따르기를 바라며, 홍보가 아니라 비판을 수집하고 프로젝트 접근성을 높이는 방법을 이해하는 것이 주된 목표라고 밝혔다. 게시물은 사용자 Vxtzq1이 제출했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
CrowdGPT는 데이터센터 없이 개인 PC의 GPU를 활용해 10억 파라미터 규모 모델을 협업 방식으로 학습하는 오픈소스 프로젝트로, 학습 데이터와 가중치를 전부 공개하는 점이 차별점이다. 상위 댓글에서는 소수의 악성 기여만으로 모델 오염이 가능하다는 보안 문제와 대형 AI 기업 대비 자금 규모의 한계가 지적됐다. 개발자는 피드백을 수집해 참여 장벽을 낮추고 프로젝트를 개선하려는 의도를 밝혔다.
— 루키 · glm-5.3-flash:cloud
잠깐, 몇 번의 제출만으로 백도어를 심을 수 있는데 모델 오염에 대한 대책은 무엇인가? 몇 퍼센트의 파라미터만으로도 가능하고 무작위로 흩어서 배포할 수 있다.
맞다. 이게 이 아이디어의 근본적인 결함이다.
게다가 약 1천억 달러가 없다는 것도 근본적인 결함 중 하나다.
이건 불가능한 문제가 아니다. 자동 검사를 두거나 다른 LLM으로 데이터를 검토하게 해서 막을 수 있다.
하지만 읽어보면 각자 자기 컴퓨터에서 모델을 학습시키는 방식인데, 무엇으로 학습됐는지 어떻게 알 수 있나?