Meta의 논문이 토큰을 읽는 기존 방식을 건너뛰고 모델이 원시 바이트, 즉 한 글자씩 텍스트를 읽도록 제안한다.

연구진은 약 10억 파라미터 규모의 소형 모델을 토큰 기반과 바이트 기반으로 나눠 학습시켰고, 일부는 더 큰 모델인 llama 3 8b를 모방하는 증류 방식으로 학습했다. 교사 모델은 토큰으로 사고하는 반면 학생 모델은 바이트로 읽기 때문에 두 방식 사이를 깔끔하게 변환하는 방법을 마련해야 했다.

소량 학습 상태에서는 토큰 모델이 비교도 안 되게 앞선다. 학습이 늘어나면 토큰 모델은 정체하는 반면 바이트 모델은 계속 개선된다. 추세선을 연장하면 바이트 모델이 llama 3.2 1b와 gemma 3 1b를 몇 점 차이로 앞지르며, 같은 수준에 도달하는 데 필요한 텍스트도 약 6배 적었다.

다만 llama와 gemma를 앞지른다는 부분은 예측이다. 실제 학습 범위를 넘어 곡선을 연장한 것이며 실제 실행에서는 토큰 모델이 여전히 앞서 있었다. 글자 단위 읽기는 느려서 토큰이 약 4~5글자에 해당하는 만큼 같은 텍스트를 처리하는 데 약 5배 더 많은 단계가 필요하고, 데이터는 적게 들지만 연산은 더 든다. 교사 모델이 여전히 토큰을 쓰기 때문에 토큰이 사라진 것은 아니며, 소형 모델에서만 테스트해 대규모에서도 성립할지는 미지수다.

그럼에도 휴대폰과 노트북의 소형 모델에서는 같은 크기로 더 높은 품질을 뽑아내는 것이 중요한 만큼 의미가 크다는 평가다. 거대한 단어 사전을 없애면 단어의 글자 수를 잘못 세는 문제도 해결될 수 있으며, 바이트 모델을 토큰 모델만큼 빠르게 만드는 연구가 있는지에도 관심이 모인다.