How VPO Trains LLMs to Win at Test-Time Search with Ryan Bahlous-Boldi from MIT
Deep Learning with Yacine · 124:43 · Watch on YouTube
VPO (Vector Policy Optimization), MIT의 Improbable AI Lab에서 나온 Ryan의 방법으로, RL 사후 학습을 변경하여 언어 모델이 하나 대신 여러 개의 좋은 답변을 생성하도록 학습합니다. 표준 GRPO는 보상 부분들을 하나의 숫자로 합산합니다. VPO는 보상을 벡터로 유지하고, 모델의 답변을 그 벡터의 수천 가지 무작위 가중치에 대해 채점하며,...