최근 Omar Sanseviero가 트위터에서 향후 Gemma 모델에 대한 제안을 요청했다. 이에 대한 필자의 생각은 다음과 같다. Gemma 5는 루프드 트랜스포머(looped transformer)여야 한다. 루프 깊이를 조정할 수 있는 루프드 트랜스포머가 되면 Gemma 4의 가장 큰 약점 중 하나인 추론 능력 문제가 해결될 것이다. 오해는 말자. 필자는 Gemma 4의 간결한 추론 방식이 마음에 들지만, 이는 특정 시나리오에서 성능을 실질적으로 저해한다. 루프 구조를 채택하면 이런 작업에서 더 나은 성능을 내면서도 더 얕은 추론이 가능하도록 설정할 수 있고, 추가로 비용이 많이 드는 사전 학습 없이도 기존 트랜스포머보다 훨씬 효율적일 수 있다.

Gemma 5에는 DeepSeek의 Engram이 탑재되어야 한다. 이는 몇 기가바이트의 RAM이나 SSD 공간만 추가로 소모하면서 모델의 세계 지식을 넓혀줄 것이다. 이를 통해 모델은 거의 비용 없이 실제 환경 작업에서 더 나은 성능을 낼 수 있다. 4비트 QAT는 계속 사용해야 한다. 이는 실제로 더 많은 사람들이 높은 품질로 모델을 구동할 수 있게 해줬고, 실사용에서 잘 작동한다는 것이 입증되었으므로 필자는 전적으로 찬성한다.

더 저렴한 KV 캐시를 위해 더 효율적인 어텐션 메커니즘을 구현해야 한다. DeepSeek의 Compressed Sparse Attention 2와 유사한 방식을 도입하면 KV 캐시 비용을 크게 낮출 수 있다. 이는 24GB VRAM 환경에서 Gemma 4 31b가 Qwen 3.5 이후 모델과 비교했을 때 가진 주요 단점 중 하나였다. Gemma 5 ~120b MOE 모델은 어떠한가. API 서비스와 경쟁하게 되어 아마 어려울 것임을 알지만, Gemma 5 시리즈에 120b MOE 모델이 출시된다면 커뮤니티는 매우 기뻐할 것이다. 드래프터(drafter) 모델 개선도 필요하다. Gemma 4 출시 이후 DSpark, DFlash 2, EAGLE-4 등 많은 새로운 스페큘레이티브 디코딩 기법이 발표되었으므로 드래프터 모델의 소폭 업데이트가 있으면 좋겠다.

Gemma 4 12b처럼 모델 레이어에 선형 투영(linear projection)을 적용해야 한다. 이는 비전과 오디오 기능을 위한 기존 아키텍처를 대체하는 방식이다. 선형 투영은 검토할 가치가 있는 흥미로운 접근법으로 보이지만, 물론 잘 풀리지 않는다면 억지로 밀어붙일 필요는 없다. 소형 모델의 2비트 QAT는 잊어야 한다. gemma-4-E2B-it-QAT-mobile과 gemma-4-E4B-it-QAT-mobile을 두고 말하는 것이다. 실제로 QAT를 적용하더라도 가중치를 2비트로 양자화하면 이런 소형 모델은 완전히 제 기능을 잃으므로 실용적인 관점에서 추구할 가치가 없다.

다른 모든 것을 희생하면서 코딩에 과적합되어서는 안 된다. 현재 거의 모든 연구실이 코딩 벤치마크만 좇는 동안 일반 지식, 창작 글쓰기, 뉘앙스 면에서는 후퇴하고 있다. 소형 모델은 모든 분야에서 동시에 최고 수준이 될 수 없으며, 코딩 특화 모델은 이렇게 경쟁이 치열한 공간에서 빠르게 구식이 된다. Gemma는 비코딩 용도에서 여전히 균형 잡힌 느낌을 주는 몇 안 되는 모델 계열 중 하나이니 이 정체성을 지켜주길 바란다. 여러분은 어떻게 생각하는가? 아래에 의견을 자유롭게 남겨달라.