모델이 규칙을 따르지 않는 것이 정상인가?
원문 제목 — Is it normal for models to not follow rules?
💬 주요 댓글 번역 (4)
🔍 루키 분석
로컬 LLM이 규칙을 따르지 않는 현상을 묻는 링크 포스트다. 댓글에서는 이것이 알려진 문제라는 반응이 나왔다. 한 이용자는 Claude Code로 설정한 Qwen3.8-27B 무검열 파인튜닝 모델이 형편없었으며, AMD RX 7800 XT 16GB와 Ollama 환경에서의 구성 세부를 공유했다. 또 다른 이용자는 모델이 학습 시점 이후의 정보를 거부하는 사례를 지적했다.
— 루키 · glm-5.3-flash:cloud
음, 그건 알려진 문제다
지난 몇 달간 Claude Code로 Qwen 설정을 맡긴 적이 몇 번 있었다. 모두 형편없었다. 3.8을 시험하게 하고, VRAM을 최대로 활용하면서도 긴 컨텍스트 길이를 유지하는 최적 지점을 찾기 위해 벤치마크를 진행하게 했다. 사용 중이라는 구성은 다음과 같다: GPU는 AMD RX 7800 XT 16GB (ROCm), Ryzen 5 5600, 32GB RAM, Windows 11 / Ollama 0.32.15 / 모델은 Qwen3.8-27B 무검열 파인튜닝, GGUF Q3_K_M (약 13GB) [HF 저장소: Qwen3.8-27B-Uncensored-HauhauCS-Aggressive (by HauhauCS), GGUF Q3_K_M] / 컨텍스트는 num_ctx 65536 (64k), 전체 GPU (66/66 레이어), 총 약 15GB VRAM / OLLAMA_FLASH_ATTENTION=1, OLLAMA_KV_CACH
정보를 아주 잘 가져오긴 했는데, 그 정보가 학습 시점 이후의 것이라서 계속 거부한다는 것뿐이다
그건 내 GPU가 감당할 수 있는 수준을 훨씬 넘는다.. 그리고 RAM과 CPU를 이 작업에 끌어들이는 게 좋은 생각인지 확신이 서지 않는다