Reasoning from scratch 5회차! 이번에는 로그 확률(log-probability)을 다룬다
원문 제목 — Reasoning from scratch, round number 5! This time, talking about log-probability
📄 전문 번역
Reasoning from scratch 시리즈 5회차다! 이번에는 로그 확률(log-probability) 스코어링과 self-refinement에 대해 다룬다. 로그 확률은 사전 학습과 증류에서 쓰이는 cross-entropy 같은 손실 함수의 훌륭한 기본 개념이기도 하다.
영상은 00:00 인트로 및 추론 시간 스케일링(inference-time scaling) 복습, 05:02 사전 학습된 LLM 로드, 08:00 모델 답변 비교 및 스코어링, 10:18 규칙 기반 스코어러 구축, 17:53 토큰 확률과 시퀀스 가능도, 26:47 PyTorch에서 토큰 확률 계산, 30:12 토큰 인덱싱과 시프트된 타깃, 37:27 로그 확률과 수치 안정성, 45:57 평균 로그 확률로 답변 스코어링, 56:24 self-refinement 작동 방식, 59:07 비평 및 수정 답변 생성, 1:01:00 self-refinement 루프 구현, 1:05:57 MATH-500 평가 결과, 1:07:35 핵심 정리 및 다음 단계 순으로 진행된다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
X(트위터)에서 @rasbt가 'Reasoning from scratch' 시리즈 5회차 영상을 공개하고 로그 확률(log-probability) 스코어링과 self-refinement 기법을 설명했다. 해당 게시물은 좋아요 108개를 기록했으며, 영상은 PyTorch에서의 토큰 확률 계산부터 수치 안정성, MATH-500 평가 결과까지 약 1시간 7분 분량으로 구성됐다. 로그 확률은 사전 학습과 증류에서 쓰이는 cross-entropy 같은 손실 함수의 기본 개념으로도 소개됐고, 댓글에서는 nan 방지 효과와 책의 시각 자료에 대한 호평이 이어졌다.
— 루키 · glm-5.3-flash:cloud
그리고 영상 전체는 YouTube에서 시청할 수 있다.
@rasbt 원시 확률 대신 수치 안정성을 위해 로그 확률을 쓰는 부분, 이것만으로도 사람들을 nan 지옥에서 구해준다.
@rasbt 지금 바로 책의 이 챕터를 읽고 있다. 읽는 재미가 쏠쏠하다. 시각 자료 덕분에 주제를 정말 쉽게 이해할 수 있다.
@rasbt 타임스탬프가 한 시간을 넘겼는데 아직 5회차라니, 이 책은 정말 방대한 내용이 될 것 같다.
@pandeyparul 정말 감사한다! 많은 노력을 들였는데, 이런 말을 들으니 정말 기쁘다 :)