필자는 8B 파라미터 MoE 모델(활성 파라미터 1B)인 Ling 3.0 Tiny를 사용해 보며 많은 의미심장한 생각을 하게 되었다. 재미 삼아 구형 노트북에서 llama.cpp로 이 모델을 구동했다. 이 노트북은 2017년형으로 7세대 i5와 8GB RAM을 갖추고 있어 현대적인 작업에는 거의 쓸모없는 수준이다. VRAM도 GPU도 없다.

필자는 Pi를 구동해 llama.cpp 서버에서 이용 가능한 모든 모델을 로컬 네트워크에서 스캔하는 스크립트를 만들도록 요청했다. 모델은 초당 약 10토큰 속도로 작업을 진행했고 20분 후 완료했다. 코드를 작성하고, 실행하고, 피드백을 받아 수정하는 과정을 여러 차례 반복한 것이다. 물론 간단한 작업이다. 하지만 2020년에는 필자에게 1~2시간이 걸렸을 작업이다.

이런 허접한 하드웨어가 적절한 시간 안에 실제로 유용한 작업을 해낸다는 것은 놀라운 일이다. 활성 파라미터 10억 개는 구형 CPU가 별도의 최적화 노력 없이도 초당 10토큰으로 구동할 수 있을 만큼 작다. 즉, 필자는 그냥 llama.cpp를 빌드하고 발견한 첫 번째 Q6 양자화 모델을 실행했을 뿐이다.

핵심은 이것이다. 1~2년 전 비싼 GPU 장비를 내려다보며 이제 컴퓨터가 스스로 코드를 쓰는구나, 마치 무언가 지능적인 것처럼 느껴진다고 생각했던 그 감각을 기억하는가. 이제 그런 일이 2015년 이후 만들어진 모든 저사양 일반 컴퓨팅 기기에서 일어나기 시작하고 있다. 물론 더 비싼 장비가 항상 전력 효율과 비용 효율이 높고 토큰 생성 속도도 빠를 것이다. 따라서 구형 저사양 하드웨어를 실제로 사용하는 것이 실용적이지는 않을 수 있다. 하지만 의미가 있을 수도 있다. 약간의 지능을 갖춘 컴퓨터가 백그라운드에서 할 수 있는 일은 다양하다. 그래서 엣지 인텔리전스의 새로운 시작이 될 수 있다. 새로운 연산 장비가 필요 없다. 이미 존재하는 모든 기기가 갑자기 지능형 작업을 수행하기 시작할 수 있다는 뜻이다.

확신은 없다. 다만 구형 CPU를 보며 GPU를 볼 때 느꼈던 그 이상한 감각, 즉 그 안에 단순한 비트 이상의 무언가가 있는 것 같은 느낌을 느끼게 되어 놀랍다는 말을 하고 싶을 뿐이다. 물론 의식이 있다는 뜻은 아니며 그런 이야기가 아니다.