첫 번째 파란 선(첫 Full Attention 이전)도 처음 두 개의 크로스 디코더 쌍으로 연결돼야 하지 않을까? 모든 크로스 디코더가 전역 KV 접근을 가지기 때문이다. 그리고 전역 KV 접근을 위해서는 그 선이 FA 이후에 위치해야 할 것 같다(이전 토큰들의 KV를 포함할 수 있으려면). 내가 많이 오해하고 있는 것 같은데 설명해주면 좋겠다..

희소 어텐션이 새로운 왕이 된 것 같다 :)

이런 발전들이 정말 기대된다. M5 Pro 64GB가 출시됐을 때 구입했지만 수많은 새로운 것들을 놓치고 있다는 느낌이 들었고, 내 머신에서 에이전틱 로컬 '바이브 코딩'은 불가능할 것이라 생각했다. 하지만 상황이 점점 나아지고 있는 것 같다. 예를 들어 qwen3.8 flash next를 사용 가능한 속도(약 22 tok/s 지속)로 실행할 수 있지만, 현재는 메모리를 거의 다 차지해 컴파일이나 도커 등을 돌릴 여유가 많지 않다. 이 컴퓨터는 추론 서버 전용이 아니라 실제로 사용하는 장비이기 때문이다.

돌파구가 한두 번 더 오면 공식적으로 로컬 전용으로 전환할 수 있을 것 같다. 기다려지지 않는다! 필요시 최소 15개의 서브에이전트를 실행할 수 있어야 해서 완전히 전환하지는 못할 것 같다. 내 프로젝트는 모두 heroic 티어인 모양인데, 사람들이 단일 에이전트로 실제 작업을 해내는 것이 항상 신기하다. 나는 군집 위의 군집 위의 군집을 작업으로 돌리고 진행 상황을 크롤링하며 확인한다.