What is the Simplest RL Algorithm That Matches GRPO ? | RAFT + Reinforce-Rej
Deep Learning with Yacine · 39:21 · Watch on YouTube
이 비디오는 GRPO가 보상 정규화 때문이 아니라 주로 훈련하는 샘플 때문에 검증 가능한 보상이 있는 강화학습(RLVR)에서 작동한다고 주장합니다. 주요 장점은 모든 샘플링된 답변이 올바르거나 모두 틀린 프롬프트를 암시적으로 버리는 것에서 나옵니다. RAFT라는 매우 간단한 거부 샘플링 베이스라인과 그 필터링을 사용하면 대략 GRPO와 일치합니다. 이는 2023년 RAFT-vs-PPO...