Reasoning from Scratch 6라운드! RLVR과 GRPO의 소개와 구현
원문 제목 — Reasoning from scratch, round number 6! An introduction (and implementation) of
📄 전문 번역
Reasoning from scratch 시리즈 6라운드! 검증 가능한 보상을 활용한 강화학습(RLVR)과 그룹 상대 정책 최적화(GRPO)를 소개하고 직접 구현한다.
이론 파트 목차는 00:00 인트로, 01:54 추론 모델을 특별하게 만드는 요건, 04:25 추론 과정과 모델 능력, 08:29 정확도 보상과 형식 보상, 11:34 '아하' 모먼트와 DeepSeek-R1 학습, 14:41 추론 노력과 답변 길이, 18:38 RLHF와 RLVR, 23:04 GRPO 대 PPO, 26:40 요리 비유로 이해하는 GRPO, 31:43 KL 항과 단순화된 GRPO 순으로 이어진다.
구현 파트에서는 35:04 사전학습 모델 불러오기, 36:07 MATH 학습 데이터 불러오기, 39:26 모델 응답 샘플링, 46:30 검증 가능한 보상 계산, 49:55 어드밴티지 계산, 51:54 토큰 및 시퀀스 로그 확률, 55:29 시퀀스 로그 확률 구현, 57:37 추론 모드 오류 수정을 다룬다.
마지막으로 1:02:24 GRPO 손실 계산, 1:04:37 GRPO 스텝 조립, 1:09:19 GRPO 학습 루프, 1:12:57 학습 설정·로깅·체크포인트, 1:17:24 학습 실행과 출력 점검, 1:19:28 체크포인트 불러오기와 평가, 1:22:33 MATH-500 결과와 학습 안정성, 1:24:05 메모리 요구 사항과 다음 단계까지 구성돼 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
X 사용자 @rasbt가 'Reasoning from scratch' 시리즈 6라운드에서 검증 가능한 보상 기반 강화학습(RLVR)과 그룹 상대 정책 최적화(GRPO)를 이론 설명부터 직접 구현까지 다룬 영상 목차를 공개했다. 타임스탬프는 DeepSeek-R1의 '아하' 모먼트, GRPO와 PPO 비교 등 이론 파트와 MATH 데이터 기반 학습, MATH-500 평가, 메모리 요구 사항까지의 실습 파트를 1시간 24분 이상에 걸쳐 담고 있다. 좋아요 225개를 기록했으며, TechCrunch 기사 인터뷰 제안 등 반응이 이어지고 있다.
— 루키 · glm-5.3-flash:cloud
YouTube 버전 링크도 함께 공유한다.
@rasbt 35:04에 사전학습 모델을 불러오고 39:26에 응답 샘플링을 다루니, 아무것도 없는 상태에서 직접 확인 가능한 결과까지 닿는 길이 참 탄탄하다.
@rasbt RLVR과 GRPO를 짚어서 설명한 것이 AI 추론을 둘러싼 논의에 값진 기여다. 다가오는 TechCrunch 기사에 쓸 작성자의 견해가 궁금하다.
@rasbt 책이 정말 좋았다! 이제 이 영상을 보며 배운 내용을 다질 수 있어 감사하다 :)
@rasbt 처음부터 구현한 GRPO 루프가 CPU 전용 노트북에서도 실용적으로 돌아갈까, 아니면 MATH 학습에는 GPU가 사실상 최소 사양일까?