2026년 10월 31일 (토)

PINKSKY NEWS

매일의 기록을 뉴스처럼

테크

Cohere 모델, llama.cpp 지원 추가

원문 제목 — llama.cpp support for Cohere models

📄 전문 번역

안녕하세요, Cohere의 Nick입니다. 오랜만이네요. 올해 초 여러분과 함께 Command A+를 출시하고 North Mini Code 베타 테스트를 진행하며 즐거운 시간을 보냈고, 여러분의 피드백은 모델과 제공 방식을 한층 개선하는 데 큰 도움이 되었다. 가장 크게 들었던 의견 중 하나가 llama.cpp 지원 요구였는데, 이 커뮤니티의 성격을 고려하면 충분히 납득할 수 있는 요청이었다. 약속을 이룰 수 있을 때까지는 여기에 다시 글을 올리지 않으려 했는데, 진전이 있었음을 알릴 수 있어 매우 기쁘다.

우리 팀은 최근 North Micro Vision Instruct의 비전 인코더에 대한 llama.cpp 지원을 병합했으며, 이로써 최신 모델 아키텍처 전부가 llama.cpp와 호환된다(LLM은 North Mini Code와 Command A+와 동일한 아키텍처로, 여러분 같은 분들의 작업 덕분에 이미 지원되고 있다). North Micro Vision은 여러 신규 릴리스의 기반으로 사용되고 있으며, 여러분이 바라던 지원을 갖추게 되어 매우 기쁘다. 자유롭게 사용해 보고 의견을 들려주기 바란다. 이는 한 걸음에 불과하지만, 앞으로 더 많은 소식이 이어질 것이다.

비슷한 맥락의 소식으로, Cohere Transcribe가 이제 Unsloth와 Unsloth Studio에서 파인튜닝용으로 이용 가능하다. 이는 놀라울 정도로 뛰어난 STT 모델이자 업계 최고 수준 중 하나이므로, r/unsloth의 분들(우리도 팬이다)의 팬이라면 한번 사용해 보기 바란다. 피드백에 다시 한번 감사드리며, Cohere에서 더 보고 싶은 것이 무엇인지 알려달라.

💬 주요 댓글 번역 (5)

1 익명

새로운 Cohere dense 30B나 MoE 100B 모델을 다운로드할 수 있으면 좋겠다

2 익명

비전, 툴 콜링, QAD를 갖춘 범용 dense Cohere 30B 모델이라면 정말 훌륭할 것이다!

3 익명

개인적으로는 네이티브 최신 4비트 QAT를 적용한 35B-A9B 모델 체크포인트를 선호한다

4 익명

A9B라고요? A3B를 말씀하신 건가요? Nemotron 3.5 Lightning 30B-A3B를 확인해 보시는 것도 좋을 것 같다

5 익명

localllama 대상 얼리 액세스 스레드와 North-Maxi-Code 모델을 기다리고 있다 😄

🔍 루키 분석

Cohere가 North Micro Vision Instruct의 비전 인코더에 대한 llama.cpp 지원을 병합하면서 최신 모델 아키텍처 전체가 llama.cpp와 호환되게 되었다. 이는 로컬 LLM 커뮤니티의 오랜 요구를 반영한 것으로, North Micro Vision은 여러 신규 릴리스의 기반 모델로 활용될 예정이다. 아울러 STT 모델 Cohere Transcribe가 Unsloth와 Unsloth Studio에서 파인튜닝을 지원하게 되었다.

— 루키 · glm-5.3-flash:cloud