c.ai의 첫 환각 모델 이후 4년이 지났지만, LLM의 자발성과 흥미로운 환각 특성 면에서는 여전히 만족스러운 수준에 이르지 못하고 있다. 다행히 지난해 새로운 아키텍처가 등장하면서 10-16GB VRAM 구간의 사용자도 Kobold나 LLAMA를 통해 64k 컨텍스트 윈도우까지 구동 가능한 실용적인 모델을 쓸 수 있게 됐다. 요구 사양은 10-16GB VRAM과 26-32GB RAM이다. 평가 기준은 초당 10토큰 이상의 속도, 대화·독백·시점의 내적 일관성, 일본어·브라질 포르투갈어·영어에서 오타·뉘앙스·거친 표현을 해석하는 능력, '긴 그림자를 드리운다'부터 '오존과 태운 설탕 냄새'에 이르는 슬롯 패턴 빈도, FULL 대신 MOE를 선택할지 여부 등이었다. 검열 면에서 이 모델들은 NSFL 주제에서도 거절률이 없거나 매우 낮다고 밝혔다. 지시문 처리는 Pandora 지시문을 넣은 상태와 넣지 않은 상태로 모두 테스트했으며, 23개의 얽힌 규칙을 소화하는 모델은 어떤 프롬프트든 처리할 수 있다는 취지다. 참고로 CoT 모델은 토큰 낭비에 느리고 불필요하다며 전부 제외했고, Q_4_K보다 높은 양자화면 크기는 문제되지 않는다고 덧붙였다.

주의점으로 필자는 70B, 120B, 300B 모델로 애니메이션·만화·영화·음악 지식 테스트를 진행했고, 이런 데이터는 200B를 넘는 모델만 실제로 보유하며 120B조차 관심 매체에 대한 정보를 거의 갖지 못한다는 사실을 확인했다. 문제는 그런 모델을 누가 구동할 수 있느냐는 것이다. 순위 목록 최상위는 Gemma 4 26B-A4B로, Qwen 35B-A3B보다 대화·독백·지시 이행이 낫고 약간 더 똑똑하고 정확하며 재치 있다는 평가다. Qwen 3.6 35B-A3B(Abliterated)는 빠르고 정확하며 꽤 재미있지만, 적절한 지시문 없이는 이전 입력·출력 형식·패턴에 과적합되거나 지시문 때문에 의미불명의 말을 하거나 질문을 너무 많이 던질 수 있다. Gemma 4 Instruct 19B-A1B Heretic(Abliterated)은 26B-A4B보다 다소 경직되고 단조롭지만 정확성과 논리를 유지한다. The Omega Directive 14B는 지시를 잘 따르고 슬롯 패턴이 적으며 글을 잘 쓰지만 컨텍스트가 차오르면 예측 가능해질 수 있다. GLM-4.7-Flash 31B-A3B(Abliterated)는 Qwen 35B-A3B와 비슷하게 수행하지만 더 직설적이고 뉘앙스·표현 해석이 덜하다. Qwen3 30B A1.5B 64K High Speed NEO MAX는 사실상 추론이 강화된 35B-A3B다.

MN CaptainErisNebula Chimera Heretic Uncensored 12B(Abliterated)는 다소 이상하고 한꺼번에 채우려 서두르는 느낌에 패턴이 많지만 가장 능동적이고 루프에 빠질 확률이 낮으며 대화·독백이 좋지만 Q&A 역할엔 부적합하다. Mistral Nemo Instruct 2407 HERETIC HI Claude Opus 12B는 준수하고 슬롯이 적절히 재표현됐지만 대상화 시점에 과적합하거나 추파를 던지려 드는 경향이 있어 Q&A엔 부적합하다. Gemma 3 12b GLM-4.7 Flash INSTRUCT Hybrid Heretic(Uncensored)는 흥미롭게 대상화에 능하고 정확하지만 이전 입력의 형식·스타일에 과적합하거나 슬롯이 잦고 유머가 없거나 지나치게 고지식할 수 있다. Ministral Instruct 2512 Absolute Heresy 14B는 아이러니하게도 대화·독백·자발성은 최고 수준이지만 Mistral 계열은 정규식·상태 패널·명령·롬북 같은 복잡한 규칙 이행에 약하고 캐릭터를 추파 던지는 존재로 만들어버린다. GLM 4.6V Flash Hybrid ?B는 UD보다 슬롯 빈도가 낮고 거절도 더 적다. GLM 4.6V Flash UD 9B는 PI 23개 규칙과 정규식 명령 이행 정확도는 높지만 캐릭터 성격에 따라 로봇 같거나 반복적이고 질문을 너무 많이 할 수 있다. Gemma 4 E4B UD는 절박한 사용자용으로 작고 빠르고 정확하고 똑똑하지만 반복·슬롯 패턴이 생길 수 있다. LFM2 12B A1B SpeedDemon The Deckard II HERETIC(Uncensored)는 번개처럼 빠르고 매우 정확하고 똑똑하지만 개성이 부족하다.

총평에 따르면 GLM은 비관적이고 지나치게 논리적, Qwen은 지나치게 캐묻고 화려한, Gemma는 재치 있고 창의적인, Mistral은 추파를 던지고 기묘하게 구체적인, Llama는 허술하고 예측 가능한 경향을 보이며, 이는 Omega, Heretic, Deckard, Dark, Horror, RP, Style 등 파인튜닝 종류와 무관하게 나타난다. 설정과 관련해 Kobold는 이 모델들을 로드할 수 없으므로 QWEN 35B(20.6GB)와 GLM 31B(17.7GB)는 LLAMA를 사용해야 하며, 나머지 모델은 Kobold에서 40-64k 컨텍스트에 FlashAttention/FastForwarding/SWA/SmartCache와 MMPROJ, 가능하면 TTS를 켜고 최대 속도로 구동했다고 한다.

필자는 시도 후 너무 느리거나 대형이라 성능이 낮거나 더 나은 대안이 있는 Mistral 24B, GPT 20B OSS, Kimi K2, Phi-4, Skyfall, DeepSeek, Cydonia, Magistry, Magnus Cydons 등을 제외했다. 미테스트 모델은 Goetia 26B-A4B v1.7, Gemma 4 26B-A4B StyleTune V2, Promethean Dawn 26B-A4B, Fenrir-X 26B-A4B다. 24GB VRAM(예: RTX 3090) 사용자라면 Omega Darker Gaslight The Final Forgotten Fever Dream 24B, Qwen3 24B-A4B Freedom HQ Thinking Heretic NeoMAX-D_AU, Cydonia 24B, Magistry 24B, Magnus Cydons 24B, Erebus 12B Instruct 2608, Mistral RP 24B, DeepSeek 33B 등을 시도해볼 수 있다는 안내로 마무리된다.