일반 텍스트 정보 추출용 모델·하네스 제안 구한다
원문 제목 — Need a suggestion of a model/harness to extract information from plain text
📄 전문 번역
수 기가바이트에 달하는 mbox 파일과 여러 텍스트 대화를 보유 중이며, 평소라면 Claude로 처리하겠지만 개인 정보가 많이 담겨 있어 그럴 수 없다. grep으로 쉽게 찾을 수 없는 일반 텍스트에서 정보를 추출해 Excel 보고서를 만들려고 한다.
qwen2.5:14b-instruct-q5_K_M, mistral-small 등 여러 모델과 open interpreter, goose 같은 하네스를 시도했지만 모두 엉뚱한 말을 하거나 도구 실행을 거부하거나, 아주 단순한 추출 스크립트를 작성해 놓고 정작 실행하지 않는 등 문제를 보였다.
거대한 컨텍스트가 필요한 작업은 아니라고 판단한다. 이메일을 하나씩 또는 배치 단위로 읽으면 충분히 처리할 수 있기 때문이다.
실행 가능한 하드웨어 옵션은 두 가지로, 현재 ollama와 함께 사용 중인 Macbook M4 Pro 24GB와 Windows 환경의 RTX 4090 24GB다.
관련 경험이 전혀 없는 상태에서 더 이상 방법이 떠오르지 않아 아이디어를 구하고 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
수 GB 규모의 mbox 파일에서 grep으로 찾기 어려운 업무 정보를 뽑아 Excel 보고서를 만들려는 사용자가, 개인 정보 때문에 Claude 대신 로컬 LLM 활용을 선택했다. qwen2.5:14b-instruct-q5_K_M과 mistral-small, open interpreter와 goose 등을 조합해 시도했으나 도구 실행 거부 등으로 번번이 실패했고, 후보 하드웨어는 ollama를 쓰는 Macbook M4 Pro 24GB와 RTX 4090 24GB 윈도우 머신이다. 댓글에서는 이메일을 10~20개 단위의 작은 배치로 나누거나 메시지마다 모델을 새로 띄워 Yes/No 질의를 반복하는 방식이 해법으로 제시되었다.
— 루키 · glm-5.3-flash:cloud
먼저 훨씬 작은 청크로 나눠 한 번에 10~20개 이메일씩 처리해 보라. 그러면 모델이 흐름을 잃는 것을 막을 수 있다. 시도한 모델들이면 그 정도는 충분히 감당하지만 배치가 커지면 주변 도구 쪽이 이상 작동하는 경우가 있다. Mac 특유의 문제 여부를 배제하기 위해 4090에서 간단히 테스트해 볼 가치도 있으며, 24GB VRAM이면 같은 모델을 문제없이 돌릴 수 있다.
안타깝게도 어떤 설정도 유용한 작업을 시작하지 못했다. 시도한 어떤 구성도 mbox 파일을 풀어 내용을 확인하는 단계까지 가지 못했다.
어떤 종류의 정보를 추출하려는 것인가? 소형 모델로도 충분히 해낼 수 있는 작업이다. 요령은 메시지마다 모델을 새로 시작하는 것이다. 자세한 설명이 필요하면 DM을 보내달라.
업무 서신이며, 특정 기간 동안 수행된 다양한 작업 내역을 정리하려 한다. 모두 자연스러운 대화체 텍스트라 grep으로 찾을 수 없다.
Claude나 ChatGPT에게 각 메시지를 하나씩 받아 로컬 LLM(예: Qwen 27b)으로 보내는 앱을 작성하게 하라. 앱이 모델에게 '당신은 시장 분석가이며 이 메시지에서 찾고자 하는 내용을 검토하라. 발견 시 Yes, 미발견 시 No로 답하라'는 식의 프롬프트를 전달하게 한다. 찾는 내용을 모르므로 어디까지나 예시 프롬프트다. 이후 앱이 Yes와 No 답변을 수집해 보고서를 만들면 된다. 핵심은 소형 모델에 데이터를 너무 많이 주면 흐름을 잃으므로 제한된 분량에 대해 질문해야 한다는 점이다.