누가 이것에 대해 설명해 줄 수 있나? 트랜스포머가 무엇인지는 알지만 그게 전부다. 물론 LLM에게 물어볼 수도 있겠지만, 사람의 답변이 훨씬 더 좋다.

정말 간단한 아이디어다. 어텐션과 MLP로 구성된 '트랜스포머 블록'이 있고, 둘 다 당연히 자체 가중치 등을 갖는다. Looped Transformers의 아이디어는 트랜스포머 블록의 출력을 그대로 다시 블록에 집어넣는 것이다. 다시 말해 '트랜스포머 블록을 한 번 이상 적용한다'는 말이다. 장점은 네트워크에 더 많은 연산량이 생기고, 더 좋은 점은 추가 메모리 대역폭(오늘날 최대 병목)이 필요 없는 형태라는 것이다. 단점은 동일 FLOPs 기준으로 지식을 인코딩할 파라미터가 적어지지만, 이것이 한계 요인이 되는 경우는 드물다.

뭔가 직관에 어긋나는 부분이 있어서 아마 더 근본적인 개념을 잘못 이해한 것 같다. 블록을 두 번 통과하는 것이 어떻게 더 적은 연산과 메모리를 사용하는가?

아, 죄송하다. 어딘가 타이핑을 잘못했을 수도 있겠다. 루핑은 어떤 블록도 한 번 이상 통과하지 않는 경우보다 당연히 더 많은 연산을 사용한다. 그리고 루핑은 완전한 블록을 하나 더 추가하는 것보다 적은 메모리를 사용한다. 동일한 블록을 재활용하기 때문이다. 이것들은 모두 '루핑을 하지 않는 경우'와의 비교다. 이 주제를 이야기할 때는 비교 대상이 세 가지, 즉 루핑이 없는 일반 모델, 기존 섹션을 여러 번 실행하는 루핑, 단순히 블록을 더 만드는 방식이므로 주의해야 한다(아니, 정확히는 이미 잘못 타이핑한 내가 주의해야겠다. 하하).

아, 이제 이해가 된다 xD. 고맙다!