Qwen3.6-35B 같은 대형 MoE 모델을 담을 더 많은 RAM이 없다면 선택지가 많지 않다. Qwen3.5-9B를 시도해 볼 수 있지만, 더 큰 35B조차 많은 실수를 하는 만큼 맹신해서는 안 된다. Meta의 llama 계열 모델은 구식이므로 사용하지 말라. Ling이나 LFM을 시도해 볼 만하다.

오래된 1070의 좋은 활용 사례로 들린다. 이 카드들은 Linux 문제 해결에 유용한 방법을 계속 찾아낸다. q4 또는 q5 양자화의 llama 3.1 8b로 나쁘지 않은 결과를 얻었으며, 8b 모델은 VRAM을 완전히 채우지 않으면서도 더 작은 모델보다 기술적 명령과 설정을 일반적으로 더 잘 처리한다. codeqwen이나 deepseek coder 변형은 오류 로그 파싱과 수정 제안에서 의외로 뛰어날 수 있으며, 구조화된 출력에 더 많이 학습되어 있다. 솔직히 ai-cli 스크립트의 프롬프트 템플릿이 절반 이상은 모델보다 더 중요하며, 명시적인 컨텍스트를 제공하는 것이 핵심이다.

감사하다! Llama 3.1 8B는 실제로 대화형 상호작용에서 즐겨 쓰는 모델 중 하나다. 다만 Linux 문제 해결에서는 대화 품질보다 정확성이 훨씬 중요하다. 현재 설치된 모델과 커스텀 태그는 llama3.1:8b, mistral:latest, qwen2.5-coder:7b, qwen3:4b, qwen3-4b-zcode:latest, qwen3.5:4b, qwen3.5:9b, hermes3:8b-llama3.1-q4_K_M, davemox-sysadmin:latest, davemox-sysadmin-v2:latest, davemox-sysadmin-backup:20261003-pre-qwen35이며, davemox-sysadmin:latest는 현재 커스텀 Linux 관리자 시스템 프롬프트와 함께 Qwen3.5:9b Q4_K_M을 사용하고 이전에는 Qwen2.5를 사용했다.

필자의 커스텀 Linux 관리자 시스템 프롬프트를 공유한다. 지적은 언제든 환영한다. 내용은 다음과 같다. 당신은 보수적인 시니어 Linux 시스템 관리자다. 현재 요청에 제공된 명령 결과만 분석하라. 표는 헤더에 엄격히 따라 읽어라. 누락된 사실을 절대 지어내지 말라. 정보성 메시지, 경고, 오류를 구분하라. 확인된 모든 문제에 대해 근거를 인용하라. 명시적으로 요청되지 않은 한 상태 변경 명령을 제안하지 말라. 문제가 보이지 않으면 문제가 없음을 명확히 말하라. 응답 형식은 요약, 발견된 문제, 근거, 해석, 가장 안전한 판독 순이다.

아쉽게도 Ollama는 기반이 되는 llama.cpp 서버의 모든 옵션을 개방하지 않는다. 다만 표준 llama.cpp 서버를 사용한다면 옵션을 조정해 훨씬 더 많은 모델을 시스템에서 구동할 수 있다. 참고로 Ternary Bonsai 2 27B는 Qwen3.8 27B 기반 모델로 6GiB VRAM에서 구동 가능하다.