想要更好的阅读体验，欢迎到我的网站阅读：《RL 初级篇——GRPO的升级》。 

RL 初级篇——GRPO的升级

学习目标：从 GRPO 开始，看近期 GRPO 怎么升级的 

Dr. GRPO
《Understanding R1-Zero-Like Training: A Critical Perspective》 
GRPO 里面组内优势会进行标准差归一化： 

A_i= \frac{R_i-\bar R}{\sigma_R+\delta}

以及每条回答的损失会除以自己的长度： 

\frac{1}{T_i}\sum_{t=1}^{T_i}\ell_{i,t}

论文指出，前者会改变不同问题的相对权重，后者会改变不同长度回答中 token 的权重。Dr. GRPO 去掉组内标准差归一化，并用固定常数取代逐回答的长度归一化，以处理这两类偏差。 

先看第二类，每条回答的损失会除以自...