모두에게 인사한다. UkisAI(Swift Qwen)의 Jovan이다. 저희를 모르는 분을 위해 소개하면, UkisAI는 초소형 프런티어 LLM, 도구, 데이터셋을 만들고 이를 오픈소스로 공개하는 소규모 연구실이다. 필자는 모델 학습과 Reddit 게시를 담당하는 운영진 중 한 명이다. 팀의 첫 오픈소스 출시작은 추론 효율 LLM 시리즈 Swift다. 다양한 LLM 내부의 병적인 과잉 사고 패턴에 페널티를 부여하고, RL 후학습에서 '더 짧게'가 아니라 '더 효율적으로' 생각하도록 학습시키면 정확도 손실 없이 토큰 사용량을 58.3% 줄이고 속도를 1.95배 높일 수 있음을 입증한 프로젝트다. Swift 27B와 Swift Flash Next를 이용할 수 있으며, GSQ-RCO 양자화(ISTA-DAS에 감사를 전한다)와 검열 없는 변형 모델(커뮤니티에 감사를 전한다)도 제공된다.

모델 다운로드가 200만을 넘어섰다는 사실이 정말 믿기지 않는다. 팀과 10만 다운로드 달성 시 건배를 하기로 약속했었는데 지금은 어떻게 축하해야 할지 모르겠다. 그동안 독립 벤치마크, 양자화, 파인튜닝, 단순한 사용 등 어떤 형태로든 모델에 기여한 모든 이에게 감사를 전한다. 여러분이 없었다면 작업을 계속할 방법이 없었을 것이다. 다운로드가 쏟아지는 지금 팀은 새 모델 학습과 최근에는 로컬 AI 사용자용 도구 제작을 계속할 수 있게 되어 매우 기쁘다(그리고 수입도 생겼다).

이와 관련해 오늘 두 가지를 공유한다. 첫째, Swift 사용자와 더 쉽게 소통하고 아이디어를 듣고 작업 중인 새 모델과 도구를 테스트하기 위한 Discord 커뮤니티를 개설한다. 먼저 가입하는 100명은 미공개 Swift 모델(Swift GLM 5.3 Flash와 Swift 9B를 학습했으며 HuggingFace 공개 전 얼리 테스터를 찾는 중), UkisAI Code(로컬 모델용으로 수정·최적화한 Codex로, 오픈소스 모델 원격 제어, 향상된 브라우저 사용, /loop 등을 위해 내부적으로 사용 중), Swift.cpp(Swift 모델에 특화해 최적화한 추론 엔진으로 자체 하드웨어에서 최대 30% 더 빠르게 구동된다)에 대한 얼리 액세스를 받는다. 이후 커뮤니티는 모두에게 공개되지만 얼리 액세스 방식은 아직 확정하지 않아 당분간 초대 전용으로 유지된다. 테스터가 접근하는 모든 것은 품질과 무관하게 오픈소스로 공개될 예정이므로 대부분의 사용자에게는 문제되지 않는다.

둘째, UkisAI Research Support Program을 시작한다. 자체 모델 구축을 실험하거나 Swift 모델로 새로운 작업을 진행하는 훌륭한 이들에게 무료 컴퓨팅, LLM API, 데이터셋 얼리 액세스를 제공하고자 한다. 이번이 처음이라 지원 규모를 바로 가늠할 수 없어 연구를 지원할 수 있는 구체적인 인원수는 정해져 있지 않으며, 관심 있는 이는 Discord로 메시지를 보내면 확인해 주겠다고 밝혔다.

맺음말: 팀은 로컬 AI를 굳게 믿으며, 개인 사용 영역에서는 오픈소스가 모든 독점 클라우드 모델을 대체해 승리할 것이라 믿는다. 하지만 팀 스스로도 이를 실현할 모든 아이디어와 해법을 갖고 있지는 않아 커뮤니티의 도움이 필요하다. Swift 모델 사용 여부와 관계없이 모델 요청, 필요한 도구, 로컬 AI 사용 중 겪는 문제를 공유해 달라고 당부하며, 로컬 AI가 클라우드보다 나아지는 데 필요한 것들 중 하나일 뿐이라고 덧붙였다. 같이 만들어 보자!