Comfy의 Generate Text 노드를 사용하고, 원하는 검열 제거 로컬 모델을 불러온 뒤 마음껏 프롬프트를 작성하라. 이 해법의 좋은 점은 네이티브 노드가 필요할 때 LLM을 불러왔다가 내려놓아, Ollama나 LM Studio를 사용하는 대부분의 해법과 달리 메모리를 계속 잡아먹지 않는다는 것이다.

이것이 정답이다. 모델을 하나 골라 바로 불러오면 된다. 내가 꽤 마음에 들어 하는 두 모델이 있는데, e2b는 약 2배 빠르고, Qwen 4b는 때때로 더 똑똑하며 시각 능력이 약간 더 좋다(Qwen 모델이 이미지 시각 인식이 가장 뛰어나다)만 너무 많이 생각하는 편이다. 반드시 thinking을 켜두어야 한다. 두 모델 모두 시각 기능이 내장되어 있어 이미지 로드 노드를 연결해 이미지를 분석하거나 수정하라고 지시할 수도 있다. e2b는 검열이 없는 모델은 아니지만 간단한 시스템 프롬프트로 해결할 수 있다(구글에서 찾거나 직접 만들어 완전히 순응할 때까지 테스트하면 된다). Comfy용 .safetensors로 내가 찾은 유일한 것은 이것이다.

이렇게 소형 파라미터 모델들을 연결하는 것이 하나의 대형 모델로 한 번에 처리하는 것보다 낫다고 생각하나? 나는 A4B27과 Gemma 12B 모델들을 돌려 왔다. A4는 항상 사소한 문법 실수와 형식 오류를 내놓아 검증 단계가 절실하다. 그래서 최근에는 12B 쪽으로 기울고 있다. 하지만 당신의 워크플로도 시도해 볼 만큼 흥미로워 보인다.

소형 파라미터 모델들을 연결하는 것이 하나의 대형 모델로 한 번에 처리하는 것보다 나을까? 좋은 질문이다. 12B가 확실히 더 똑똑하고, 구현 방식상 두 모델의 시각 기능은 다르다(12B의 시각 기능은 e2b, e4b와 다르다). 이 용도로 두 모델의 시각 기능을 실제로 비교해 본 적은 없지만, 외부에서는 둘 다 사용해 봤고 뚜렷한 차이를 느끼지 못했다. 높은 시각 토큰 한도(4,000 또는 8,000이었던 것 같다)를 설정한 Qwen VL 모델이 여전히 작은 디테일을 찾아내는 데 가장 뛰어났다.

반드시 시도해 볼 것이다. 모델을 조금 섞어 볼 수도 있다. 예를 들어 소형 모델들에게 무거운 작업을 맡기고, 대형 모델이 thinking 없이 최종 형식화와 교정 패스를 하도록 하는 방식이다. 아니면 모두 소형 모델을 써 보고 차이가 있는지 확인해 볼 수도 있다. 손익분기점이 어디쯤일지 궁금하다.