정답은 더 나은 강화 학습이다. 하지만 Qwen 3.8 Max로부터의 더 나은 증류, 더 나은 사전 및 중간 학습, 더 깨끗하고 라벨링된 데이터도 한몫한다. 더 나은 에이전트 궤적, 더 나은 아키텍처 등도 있다. 지금은 전 세계 거의 어느 분야보다 LLM 연구개발에 많은 돈이 투입된다. 빠르게 좋아지는 게 당연하다.

역대 최대 규모의 지출일 수 있다. 현재 연구개발 비용은 인플레이션을 반영해도 이미 우주 경쟁 시절에 쓰인 돈의 두 배에 달한다.

요즘 생각하는 것 중 하나는, 오늘 에이전트 군집으로 처리하게 되는 일은 결국 미래에는 단일 에이전트로도 처리할 수 있게 된다는 점이다. 오픈 웨이트 모델과 미국 빅랩 모델로부터의 증류에 대한 열풍의 일부 이유가 여기에 있다고 본다. 이들은 자기 모델을 이용해 문제 해결에 더 효율적인 새 세대를 학습시키고 있고, 충분한 대화 기록만 확보하면 돈이 든 누구나 같은 일을 할 수 있다.

100% 학습 데이터 때문이다. 초기 LLM 시도는 모델 크기를 키우면서 데이터를 마구 투입하는 수준이었다. 하지만 이제는 깨끗한 데이터가 좋은 모델을 만드는 가장 큰 요인이라는 인식으로 바뀌고 있는 것 같다.

인식이 바뀌었다는 표현에는 동의하기 어렵다. 2020년에도 분야 외부의 초보자조차 깨끗한 데이터가 핵심이라고 말할 수 있었다. 쓰레기를 넣으면 쓰레기가 나온다.