Ollama Cloud가 2026년 9월 25일 GLM-5.1을 은퇴시키기로 발표한 것과 관련해 상세한 기술 피드백을 제공한다. GLM-5.1은 단순히 선호하는 모델이 아니기 때문이다. 에이전틱 소프트웨어 개발 및 오케스트레이션 환경에서 사용할 모델을 벤치마킹해 온 결과, GLM-5.1은 GLM-5.3과 런타임 동작이 실질적으로 달랐으며 GLM-5.3은 현재 GLM-5.1의 드롭인 대체재로 취급될 수 없다.

워크로드는 기존의 단일 턴 채팅이 아닌 주로 에이전틱 방식이다. 모델은 자율 소프트웨어 개발 작업, 구조화된 작업 브리프, 저장소 검사, 기존 프로젝트 상태에 대한 추론, 도구 호출, 터미널 작업, 파일 생성/수정, 검증 및 테스트 실행, 반복 수정, 완료 보고, 다중 단계 에이전트 워크플로, OpenClaw 스타일 에이전트 오케스트레이션, 여러 워커/모델 간 모델 라우팅을 포함하는 오케스트레이션 시스템의 일부로 쓰인다. 따라서 핵심 지표는 주관적인 답변 품질이 아니라 모델이 주어진 실행 범위 안에서 추론 → 계획 → 도구 실행 → 관찰 → 수정 → 검증 → 최종 작업 완료의 단계를 안정적으로 통과할 수 있는지 여부다. 내부 식별명 T02-R2의 통제 벤치마크 실행에서 GLM-5.1은 중앙값 26/31, GLM-5.3은 중앙값 0/31을 기록했으며 이는 해당 워크로드에서 극도로 심각한 성능 저하다.

GLM-5.3의 결과는 주로 나쁜 코드 생성, 작업 오해, 문제 추론 불능 때문이 아니었다. 관찰된 지배적 실패 양상은 모델의 사고/추론 단계에서 실행 시간이 소진된 것이었다. 즉 GLM-5.3은 실행 가능한 도구 사용 단계로 충분히 진행하기 전에 가용 실행 창을 대부분 소모해 에이전트가 벤치마크 목표를 완료하지 못했고, 이로 인해 이론적 추론 능력이 더 크고 컨텍스트 창이 약 100만 토큰(GLM-5.1은 202,752토큰, GLM-5.3은 1,048,576토큰)인 GLM-5.3이 유한한 실행 예산의 에이전트 런타임에서는 추론 단계가 실행/완료 단계 도달을 막아 오히려 실질적으로 훨씬 나쁜 성능을 내는 역설적 동작이 나타났다. 컨텍스트 용량은 현재 에이전트 워크로드의 제한 요인이 아니며 실행 효율이 그 요인이다.

GLM-5.1은 목표를 이해할 만큼의 충분한 추론, 추론에서 실행으로의 비교적 빠른 전환, 효과적인 도구 사용, 작업의 지속적 진행, 결과 상태 검증, 런타임 범위 내 최종 완료 응답 생성이라는 자율 에이전트에 특히 가치 있는 동작을 보인다. 반면 GLM-5.3은 훨씬 추론 중적이어서 대화형 사용에는 유익할 수 있으나 자율 실행에서는 과도한 사전 실행 추론이 시스템 수준 문제가 된다. 문제는 단순히 'GLM-5.1이 더 나은 답을 준다'가 아니라 'GLM-5.1이 유한한 자율 에이전트 실행에서 추론 대 행동 비율이 실질적으로 더 낫다'는 점이다. 이들은 모델을 대화형 프롬프트가 아닌 엔드투엔드 작업 완료 기준으로 벤치마킹하며, 프롬프트 해석 → 계획 → 올바른 도구 선택 → 도구 실행 → 상태 관찰 → 오류 복구 → 지속 실행 → 검증 → 종료 작업 상태 → 최종 보고의 전체 사슬을 성공으로 간주하고, 훌륭한 추론을 산출해도 종료 상태에 도달하지 못하는 모델은 실패한 에이전트 실행으로 점수화한다.

운영상으로 이들은 워크로드 특성에 따라 모델을 선택하는 모델 라우팅 아키텍처를 준비 중이며, GLM-5.1은 실행 지향 워커에 특히 유용한 모델로 부상하고 있었다. GLM-5.3은 초대형 컨텍스트 분석, 아키텍처 추론, 연구, 계획, 복잡한 종합에 더 적합할 수 있고, GLM-5.1은 유한한 코딩 작업, 자율 실행 루프, 도구 중심 워크플로, 저장소 작업, 반복 에이전트 작업에 현재 더 적합해 보인다.