필자는 RTX 5090(32GB VRAM)과 64GB 시스템 RAM을 갖춘 데스크톱을 사용 중이며, 로컬 AI의 주 용도는 일반 대화나 단순 코드 생성이 아니라 Unity 게임 개발이다. 현재 5090에서 Qwen 3.8 27B를 로컬로 구동하고 있으며, 컴포넌트 생성, 작은 버그 수정, 비교적 독립적인 메커니즘 구현 같은 짧고 고립된 작업에서는 잘 동작한다.

문제는 긴 에이전트 작업에서 시작된다. 기존 Unity 프로젝트와 저장소를 검토하고, 변경 전에 현재 아키텍처를 파악하고, 관련 스크립트와 GDD를 읽고, 여러 시스템에 걸친 큰 기능을 구현하며, 기존 아키텍처와 컨벤션을 유지하고, 테스트를 작성·갱신·실행해 실패를 수정하고, 원래 목표를 잃지 않은 채 오랜 시간 자율적으로 작업을 지속하는 식의 작업이다. 27B 로컬 모델의 경험은 이 지점에서 실망스러웠다. Qwen은 초기에는 유능해 보이지만 작업이 커지고 파일·컨텍스트·추론이 많아질수록 강한 클라우드 모델과의 차이가 뚜렷해진다. 그래서 로컬 AI를 위해 5090을 소유하고도 진지한 Unity 개발에는 클라우드 모델을 쓰고 있으며, 이로 인해 5090이 정말 적합한 하드웨어인지 의문이 생겼다. 이에 5090 데스크톱을 팔고 DGX Spark / GB10 128GB 머신으로 갈아타는 것을 고려 중이며, Unity·Blender·Windows·일반 GPU 작업은 RTX 5080 노트북에 맡기고 Spark는 전용 로컬 AI 서버로 쓰려 한다. 20~30B 모델을 매우 빠르게 돌리는 것보다, 장기 코딩 작업에서 지능과 신뢰성이 실질적으로 높다면 100B 이상 대형 MoE 모델을 더 낮은 속도로 돌리는 편이 낫다는 논리다. 현재는 128GB에 유용한 컨텍스트 윈도우를 남기고 들어가는 100B~160B급, 특히 대형 MoE·코딩·에이전트 모델을 찾아보고 있다.

Spark/GX10을 실제로 소유하거나 테스트해 본 사람들에게 여러 질문을 던진다. LLM 벤치마크나 대화가 아니라 진지한 코딩 에이전트 작업에 Spark를 쓴 사람이 있는지, 저장소에서 30~60분 이상 작업할 때 동작은 어떤지, 코딩·에이전트 소프트웨어 개발용으로 128GB에서 돌릴 최선의 로컬 모델은 무엇인지, 성능이 불쾌해지기 전까지 현실적으로 어느 정도 컨텍스트를 쓸 수 있는지 궁금하다는 것이다. 스펙시트의 최대 컨텍스트 수치보다 실제 64K/128K 이상 에이전트 워크로드에 관심이 많다. 대규모 저장소 컨텍스트를 넣을 때 TTFT/프리필이 얼마나 나쁜지, 프리픽스/KV 캐싱이 반복 에이전트 단계를 합리적으로 빠르게 만드는지, 대형 MoE 모델의 실제 생성 속도도 묻는다. 현재 27B 모델보다 실질적으로 낫다면 20~40 tok/s도 괜찮다는 입장이다. 아울러 GB10의 273GB/s 메모리 대역폭이 실제 코딩 에이전트 사용에서 주요 병목인지, 대형 MoE의 활성 파라미터가 적다는 점이 서류상보다 문제를 덜하게 하는지, Spark의 Qwen 100B 이상 MoE와 5090의 ~27B 모델을 벤치마크가 아닌 실제 다중 파일 개발로 비교해 본 사례가 있는지도 확인하고 싶어 한다. GB10/ARM64에서 SGLang·vLLM·llama.cpp·TensorRT-LLM·스페큘레이티브 디코딩·프리픽스 캐싱 등의 성숙도와 호환성 문제 경험, 그리고 이 용도에서 Mac Studio M5 Ultra 96GB보다 DGX Spark/GX10 128GB를 선택할 것인지도 묻는다. Mac은 대역폭이 압도적으로 높지만 새 오픈 모델과 추론 프레임워크의 CUDA·NVIDIA 우선 지원을 포기하는 점이 걱정된다.

가장 중요한 질문은 고급 소비자 GPU에서 128GB 통합 메모리로 옮기는 것이 Claude/GPT급 코딩 에이전트에 실질적으로 가까워진 모델 구동을 가능하게 했는지, 아니면 실제 코딩 능력 향상에 비례하지 않는 더 크고 느린 모델로 끝났는지이다. 로컬 모델이 최고 클라우드 모델과 마법처럼 동등해지기를 기대하지는 않으며, 128GB가 5090의 원시 속도를 훨씬 큰 모델 용량과 바꿀 만큼 품질 상한을 끌어올려 주는지를 파악하려는 것이다. 이 용도에서는 100 tok/s 이상보다 장기 작업에서의 모델 지능과 신뢰성이 훨씬 중요하며, 대형 코딩 모델과 실제 저장소로 이런 워크로드를 해 본 Spark/GX10 사용자의 이야기를 듣고 싶어 한다.