[오픈소스] 8B 모델의 잡설과 반복 루프를 막는 튜닝 Modelfile 4종과 원클릭 설치기 공개 (Ollama / LM Studio)
원문 제목 — [Open Source] Built 4 zero-fluff Modelfiles + 1-click installers to stop 8B models from yapping and looping (Ollama / LM Studio)
📄 전문 번역
로컬에서 Llama 3.1, Qwen 2.5 등 7B/8B 모델을 기본 설정으로 구동하면 실제 코드에 앞서 끝없는 대화형 잡설과 사과가 이어지고, 샘플링 파라미터가 튜닝되지 않아 반복 루프와 단조로운 출력이 나타나는 두 가지 불편이 상시 발생한다.
이를 해결하기 위해 hard negative constraint, 커스텀 샘플링 값(temp, top_p, repeat_penalty), 8k로 확장한 컨텍스트 윈도우를 적용한 튜닝 Modelfile과 JSON 프리셋을 제작했다.
Windows, Mac, Linux용 원클릭 배치·셸 설치기와 함께 4개의 스타터 엔진을 담은 저장소를 공개했다. no-yap-coder는 대화형 부연을 제거하고 실행 가능한 마크다운 코드 블록만 출력하며, pc-auto-scripter는 오류 처리를 갖춘 Windows 배치, PowerShell, Bash 스크립트 생성기다.
raw-brainstormer는 안전한 기업형 상투어를 걷어내고 10개의 고임팩트 컨셉을 출력하고, character-soul-builder는 캐릭터의 심리와 모순, 대화 리듬을 깊이 있게 다룬다.
전체 자료는 GitHub에서 오픈소스로 무료 공개되어 있으며, Modelfile을 직접 검수하거나 자동 설치기를 실행할 수 있다. 샘플링 조정과 태스크별 프리셋에 대한 피드백과 제안을 환영한다.
💬 주요 댓글 번역 (2)
🔍 루키 분석
로컬 LLM의 대화형 잡설과 반복 루프 문제를 샘플링 파라미터 튜닝으로 해결한 오픈소스 프리셋 프로젝트다. Ollama와 LM Studio 환경의 7B/8B 모델을 대상으로 no-yap-coder 등 4개 엔진과 3개 OS용 설치기를 제공한다. 댓글에서는 repeat_penalty를 코딩용 1.0, 창의 태스크용 1.2로 분리 적용한 v1.1 조정이 확인된다.
— 루키 · glm-5.3-flash:cloud
그 반복 루프가 정말 치명적이다. 간단한 스크립트를 요청했는데 마치 뇌졸중처럼 같은 세 문단을 반복해서 뱉어낸다. repeat_penalty를 직접 만져봤지만 균형을 잡지 못했는데, 조금만 세게 잡으면 앵무새처럼 반복되다가 도중에 의미 없는 텍스트를 내뱉기 시작한다. raw-brainstormer는 정확히 내게 필요한 것 같다. 업무용 뇌가 안전 모드에 갇혀 모든 결과가 판처럼 맛이 없어졌다.
뇌졸중처럼이라는 표현이 뼈아프게 정확하다. GPU에서 토큰이 무한히 반복되기 시작할 때의 갑작스러운 공포는 실감난다. repeat_penalty의 앵무새와 헛소리 사이의 날선 위태로움 때문에 v1.1에서는 코딩 태스크는 1.0으로 격리하고, 창의적 발산 태스크는 1.2에 더 높은 temp와 top-p를 적용했다. raw-brainstormer가 안전 모드에서 뇌를 꺼내주길 바란다. 지루하고 안전한 기업형 프리미스를 던져 상투어를 뜯어내는 모습을 확인해보고, 어떤 컨셉이 나오는지 알려달라.