검열 없는 멀티 모델 릴리스: MTP와 LSA를 갖춘 LongCat-Flash-Lite-Sparse, MTP를 갖춘 Qwen3.8-27B, Qwen3.5-122B-A10B, Qwen3-Coder-Next, 비전을 갖춘 Laguna-S2.1, 모두 GGUF 형식으로 공개! 보너스: LongCat-Flash-Lite 지원 내 llama.cpp 포크와 J-Wash 강화 포크 링크
원문 제목 — Uncensored Multi-Model Releases, LongCat-Flash-Lite-Sparse with MTPs and LSAs, Qwen3.8-27B with MTPs, Qwen3.5-122B-A10B with MTPs, Qwen3-Coder-Next and Laguna-S2.1 with Vision, All Available in GGUF Format! Bonus: Links to my llama.cpp Fork for LongCat-Flash-Lite Support and J-Wash Enhanced Fork!
📄 전문 번역
지난 한 달간 커뮤니티에 이 모든 모델을 전해 주기 위해 정말 열심히 작업했다. 가장 힘든 것은 단연 LongCat-Flash-Lite-Sparse였는데, 우선 Heretic 지원을 처음부터 새로 만들어야 했고 llama.cpp에도 지원을 구현해야 했으니 상당히 어렵고 시간이 많이 드는 작업이었다. 몇 주 전에 공개한 원조 LongCat-Flash-Lite보다 작업 난도가 더 높았다.
여전히 원조 LongCat-Flash-Lite와 같은 69B-A3B 모델이지만, LongCat-Flash-Lite-Sparse는 sparse attention(LongCat-Flash-Lite는 dense attention)과 1M 컨텍스트 길이(LongCat-Flash-Lite는 256k) 지원이 추가됐다.
LongCat-Flash-Lite-Sparse는 메인라인 llama.cpp에서 전혀 지원되지 않으므로, GGUF를 사용하려면 GitHub에서 내 포크를 받아야 한다. 모델은 llama-server.exe로 로드하고 llama-ui로 상호작용하면 된다. 변형판은 Uncensored Heretic(100회 중 9회 거부, KLD 0.0157)과 Ultra Uncensored Heretic(100회 중 4회 거부, KLD 0.0779) 두 가지이며, 모두 MTP와 LSA가 포함돼 있다.
모델 링크로 Uncensored Heretic GGUF와 Ultra Uncensored Heretic GGUF가 각각 준비돼 있다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
작성자가 한 달간의 작업 끝에 LongCat-Flash-Lite-Sparse, Qwen3.8-27B, Qwen3.5-122B-A10B, Qwen3-Coder-Next, Laguna-S2.1 등 다수 모델의 검열 완화 GGUF를 공개했다고 밝혔다. LongCat-Flash-Lite-Sparse는 원조와 같은 69B-A3B 규모이지만 sparse attention과 1M 컨텍스트를 지원하며 메인라인 llama.cpp 미지원 탓에 별도 포크가 필요하다. Uncensored Heretic과 Ultra Uncensored Heretic 두 변형판에는 MTP와 LSA가 유지돼 있고, 댓글에서 Qwen Flash Next 지원 계획을 묻자 작성자는 180B·360GB 규모라 비싼 원격 GPU 임대와 Ko-fi 후원 없이는 어렵다고 답했다.
— 루키 · glm-5.3-flash:cloud
HF에서 당신을 팔로우하고 있는데 오늘 GGUF가 정말 많이 올라왔더라. Qwen Flash Next도 작업할 계획이 있는가?
하고 싶다. 문제는 매우 큰 모델이라는 점이다. 180B 파라미터에 용량이 360GB나 된다. 이 모델을 다루려면 비싼 원격 GPU를 임대해야 한다. Ko-fi에서 후원받지 못한다면 이렇게 큰 모델 작업은 불가능하다.
이를 위해 돈이 얼마나 필요한가?