휴가는 생각하고 탐색할 시간을 준다. 몇 가지를 접했고 나 자신만의 발견도 했다. 알고 보니 프로그래머인 나는 더 이상 가장 똑똑하고 비싼 AI 모델이 필요 없었다. 'Cost per Task(작업당 비용)'라는 지표가 존재하는데, 그 기준으로 GPT-5.6 Luna(max)가 정상을 차지했다. 다만 Codex에서 쓸 때는 목록에서 가장 멍청한 모델이다. Artificial Analysis Intelligence Index가 겨우 38점이다. 비교하면 가장 똑똑한 모델인 GPT-6 Astra(max)는 53점이다. 결국 작업 하나를 완료하는 비용이 Luna는 0.18달러인 반면 Astra는 3.26달러로 거의 20배 차이다. 내가 이해하기로 'Cost per Task' 벤치마크는 이렇게 작동한다. 모델에 평범하고 잘 작성된 작업을 주고 완료하는 데 몇 토큰이 드는지 측정한다. 다시 말해 '애매한 난잡함을 명세로 바꿔라' 같은 것이 아니라 이미 답의 절반을 담고 있는 잘 정형화된 질문이다.

처음엔 믿기지 않아서 Luna 라인업에서 가장 멍청한 모델로 작업하기 시작했다. 그런데 무슨 일이 벌어졌는가? 5시간 단위 한도와 주간 한도를 다 쓰지 않게 된 것이다. 월 20달러짜리 플랜에서 말이다! :) 프로그래머인 나에게도 Codex는 빙빙 돌리지 않고, 이미 다섯 번 요청한 작업을 완료시키려고 더 똑똑한 모델로 갈아탈 필요가 없다. 많은 비프로그래머 바이브 코더들도 같은 방식으로 대처하는 것을 본다. AI가 계속 빙빙 돌리면 더 똑똑한 모델을 켜면 반드시 해결된다는 것이다. 그렇다, 그건 미숙한 프로그래머에게는 통한다. 숙련된 프로그래머에게는 게을러져 아예 뇌를 꺼버린 게 아니라면 의미가 없다. 그래서 현재 상황은 이렇다. 가장 싸고 멍청한 프론티어 모델조차 충분히 똑똑해졌다. 실력이 있다면 그 수준으로 충분하다. 더 똑똑한 모델을 만드는 경쟁은 끝나가는 것으로 보인다.

그런데 또 다른 문제에 부딪혔다. 속도다. 이는 특히 DeepInfra와 OpenRouter에서 두드러진다. 현재 무난히 좋은 모델들의 생성 속도는 평균 초당 25~50토큰이다. Luna조차 Codex에서 작업 하나를 완료하는 데 평균 5~15분이 걸린다. 에이전트 모드에서는 고통스러울 정도로 느려서 짜증이 나기 시작한다. DeepSeek API로 DeepSeek-V4.1-Flash를 직접 쓰면 속도가 초당 300토큰에 이를 수 있다. 차이를 보라. 작업이 5분이 아니라 1분도 안 걸린다. 어려운 작업도 15분 대신 5분이면 된다. 프로그래머라면 작업을 시작하고 AI가 최대한 빨리 끝내주길 원한다. 5~15분을 기다리는 것보다 훨씬 편하다. 동시에 DeepSeek-V4.1-Flash는 Artificial Analysis Intelligence Index가 40점으로 Luna보다 2점 높다. 전반적으로 에이전틱 AI 발전의 다음 단계는 속도다. 당분간은 중국 모델들이 앞서 있다. 하지만 내가 이해하기로 미국 LLM 제공사들이 깜짝 선물을 준비하고 있다. Anthropic은 이 부분에 문제가 있는 것으로 보이지만, OpenAI는 곧 속도가 초당 수천 토큰으로 측정되는 데이터센터를 갖추게 될 것이다. 상상해보라. 예전에는 작업을 맡기고 몇 분을 기다렸지만 이제는 10~30초 만에 모든 게 준비된다. 생각의 속도로 움직이는 비즈니스다 :) 아이디어를 떠올리고 고민하는 것만으로 결과물이 이미 검토 준비 상태가 된다 :)

더 큰 컨텍스트 윈도우 경쟁이 어떤 모습이었는지 기억하는가? '우리는 6만 5천 토큰이 있다!' '우리는 25만이다!' '우리는 50만이다!' '우리는 100만 토큰 컨텍스트 윈도우가 있다!' 여러분, 이제 그 경쟁은 끝난 것 같다. 더 크게 만들 이유가 없다. 사실 AI 코딩 에이전트의 등장을 이끈 것은 컨텍스트 윈도우의 성장이었다. 에이전트들은 작업을 진행하며 컨텍스트를 계속 확장해 20~30회 사이클 후에 유용한 일을 할 수 있었고 50만~100만 토큰에 도달했다. 이제 주된 문제는 AI 에이전트가 요청한 일을 하기 전에 새 작업마다 코드와 저장소 규칙을 처음부터 다시 공부해야 한다는 점이다. 작업의 80퍼센트는 상황 파악을 다시 하는 데 들어가고 코드 변경에는 겨우 20퍼센트가 쓰인다. 그 전부가 매번 완전히 리셋하고 다시 시작해야 하는 저 100만 토큰짜리 지독한 컨텍스트 윈도우 탓이다. 그래서 이제 모두가 이상적으로는 어떤 형태의 장기 기억이 필요하다는 걸 이해한다. 그러면 컨텍스트 윈도우는 무한해진다. 컨텍스트 윈도우가 넘쳐서 처음부터 시작할 필요가 없다면 코드베이스와 오래 작업할수록 프로젝트의 모든 것이 어디 있는지에 대한 전반적 이해가 쌓인다. 그러니 그렇다, 상태를 유지하는(stateful) LLM을 달라. 너희의 상태 없는(stateless) LLM에는 질렸다! 그나저나 사람들이 이미 이 작업을 하고 있고 여러 프로젝트가 진행 중이다. 시장은 준비됐고, 나는 이것이…