며칠 전 Solar Cortex의 초기 결과를 공유한 데 이어 훨씬 흥미로운 소식을 전한다. 연구진은 모델 자체를 빠르게 만드는 대신 불필요한 LLM 호출을 줄이는 데 초점을 맞춘 JIT 방식의 실행 시스템을 Solar Agent에 적용해 실험해 왔다.

동일한 Ornith 1.5 9B 모델로 세 가지 버전을 테스트했다. 10회 실행(5개 작업 × 2) 결과, 원본은 총 시간 92.45초, 토큰 30,492개, LLM 호출 26회, 성공 10/10, 품질 98.5/100이었고, JIT 1은 각각 55.96초, 24,806개, 14회, 9/10, 95.5/100, JIT 2.0은 36.59초, 10,601개, 10회, 10/10, 98.5/100을 기록했다. 이는 평균 품질 점수를 희생하지 않으면서 2.53배 빨라지고, 토큰은 65.2%, LLM 호출은 61.5% 줄어든 수치다.

가장 큰 개선은 에이전트의 작동 방식을 바꾼 데서 나왔다. 불필요한 계획 단계를 피하고, 예측 가능한 연산은 결정론적으로 실행하며, 독립적인 도구 호출은 병렬로 처리하고, 복잡한 작업에는 전체 추론 엔진을 유지하는 방식이다. 예를 들어 GitHub 작업은 12.76초에서 4.15초로, Gmail은 9.06초에서 3.27초로 단축됐다.

투명하게 밝히자면 이는 실제 모델 호출을 사용했지만 커넥터는 시뮬레이션된 통제된 벤치마크다. 작업당 두 번만 실행했기 때문에 아직 검증할 것이 많으며, 20개 검증 스위트는 모두 통과했다. 다음 단계는 더 긴 워크플로, 실제 API, 더 어려운 작업이다.

저자는 가장 큰 기회가 항상 더 똑똑한 모델을 만드는 것이 아니라 모델 주변에 더 똑똑한 시스템을 만드는 데 있다고 생각하기 시작했다고 말한다. 베타가 열리면 Solar 테스트에 관심 있는 사람은 대기자 명단에 등록할 수 있으며, 무엇을 먼저 테스트할지에 대한 의견을 환영한다.