这项由伊利诺伊大学厄巴纳-香槟分校研究人员开展的研究，以预印本形式发布于2026年6月30日，论文编号为arXiv:2607.00152，有兴趣深入了解的读者可通过该编号查询完整论文。
**一个你可能没意识到的问题**
当今最强大的AI推理系统——比如能解复杂数学题、能写代码、能做逻辑推理的那些模型——背后有一套训练机制，大多数人从未听说过，即便是AI从业者也往往对其中的细节一知半解。过去几年里，研究界相继提出了三种训练方法，每一种都被包装成独立的"技术创新"，拥有各自的名字、各自的论文、各自的改进逻辑。然而这两位研究者做了一件看似简单却颇具价值的事：他们把这三种方法的数学推导彻底拆开来看，结果发现——这三种方法根本不是三种不同的东西，它们只是对同一个数字进行了三种不同的操作。
这个数字，就是"标准差"。更准确地说，是一道题目的多次作答中，正确与错误答案之间的分歧程度。
**一、AI学习的底层机制：为什么要让模型反复做同一道题**
要理解这个发现的意义，需要先弄清楚这类AI是怎么被训练出来的。
现代AI推理模型的训练方式，与我们平常理解的"刷题练习"有一个根本差异。在训练阶段，系统会把同一道题目交给模型做很多遍——比如八遍、十六遍。这些重复作答并不是给用户看的，而是给训练系统自己用的。每一次回答完毕，会有一个自动检验程序（可以理解成一个不知疲倦的阅卷老师）给出评分：答对了得1分，答错了得0分。
为什么要这样做？原因藏在一个朴素的逻辑里：如果模型八次都答错了，那说明它完全不懂这道题，没有任何成功经验可以模仿；如果八次都答对了，那说明它已经完全掌握了，没有任何失败案例可以警示。只有当某几次答对、某几次答错的时候，训练系统才能真正做点有意义的事——它可以比较"做对时的思维路径"和"做错时的思维路径"有什么不同，然后告诉模型：往正确的那条路走，远离错误的那条路。
这种分歧，就是"组内标准差"。当答案一半对一半错时，分歧最大，标准差最高；当答案全对或全错时，毫无分歧，标准差为零。
**二、三种方法的真实面目：同一个旋钮，三种拨法**
现在来看这三种方法。
第一种叫GRPO（群体相对策略优化），是目前最广泛使用的方法，由DeepSeek团队在训练数学推理模型时推广开来。它的核心操作是：计算出这道题目的"分歧程度"（也就是那个标准差σ），然后把训练信号**除以**这个数。这么做的效果，相当于对所有题目的训练强度做了一种特殊的均衡化——那些特别难或特别简单的题目，会获得更多的训练权重。
第二种叫Dr. GRPO（正确版GRPO），是另一个团队对GRPO的"纠错"版本。他们认为GRPO有一个问题——极难或极简单的题目被过度关注了——于是他们的解决方案是：**把那个除法去掉**。不再除以标准差，直接用原始的训练信号。这样一来，每道题目得到的关注程度，只和"这道题有多大比例答对了"成正比，不会特别偏向某个难度区间。
第三种叫DAPO（解耦裁剪动态采样策略优化），它关注的是另一个问题：如果一道题八次全答对了，或者八次全答错了，那个标准差就是零，根本没有任何有效的训练信号。DAPO的解决方案是：**直接丢掉这种全对或全错的题目组**，额外多采样一些有分歧的题目来顶替。
把这三种方法并排放在一起，研究者注意到一件事：它们全都在处理同一个数——那个标准差σ。GRPO把它当分母用，Dr. GRPO把这个分母去掉了，DAPO把让它等于零的情况过滤掉了。这就是论文标题所说的"三种操作"——不是三个独立的发明，而是同一个旋钮拨向了三个不同位置。
**三、那个精妙的等式：学习信号恰好等于分歧程度本身**
研究者接下来证明了一个在数学上出乎意料整洁的结论，也是这篇论文的核心定理。
用一个通俗的描述：假设对同一道题采样了G次，其中k次答对、G-k次答错。那么GRPO对这道题产生的实际训练更新，恰好等于√(k×(G-k)/G)——也就是那道题的"组内标准差"——乘以"正确答案的平均特征与错误答案的平均特征之差"。
这个等式成立，不管你用什么基准线（baseline）来减，不管模型有多少参数，不管你在什么维度的参数空间里操作，它永远成立。这就是论文所称的"群体标准差恒等式"。
这个等式的意义在于：那个标准差，不只是一个被用来做除法的分母，它本身就是训练信号的"大小"。一道答案五成五败的题目，产生最强的学习信号；一道答案清一色全对或全错的题目，产生零学习信号。分歧程度，就是学习量。
用一个生活中的类比：这就好比一个学生在一套测试题里，只有那些"有时候做对、有时候做错"的题目，才是真正值得反复练习的题目。每次都做对的，不用再练；每次都做错的，现阶段也无从练起——因为你连一个可以参照的正确版本都没有。只有那些处于"摇摆状态"的题目，才是当下最有价值的练习材料。
**四、这个发现带出了三个具体的实用结论**
从这个核心等式出发，研究者推导出了三个可以直接用于实践的结论，每一个都能回答训练AI时经常遇到的实际问题。
第一个是关于"每道题该采样几次"的问题。采样越多，自然能更准确地感知这道题的真实难度，但计算资源是有限的。研究者推导出了一个简洁的公式：如果想让一道题的训练信号达到"理论最大值"的至少(1-ε)倍，需要的采样次数G大约是1/(8εp(1-p))，其中p是这道题被答对的概率。
这个公式揭示了一个有趣的规律：难度越极端的题目，需要的采样次数越多。一道被答对概率恰好是50%的"中等难度"题，大约采样10到11次就够了；而一道被答对概率只有5%的"超难题"，要达到同样的精度，需要采样接近70次。换句话说，固定的采样数量（比如通常使用的G=8），对中等难度题目来说已经很充分，但对极难题目来说严重不足——在G=8时，超难题只能实现大约54%的理论最大学习信号，而中等难度题能实现93%。
这不是一个泛泛的定性结论，而是一张可以查表的数字。研究者提供了一张详细的对照表：在不同难度、不同目标精度（90%、95%、99%）下，各自需要多少次采样。需要99%精度、题目答对率为5%时，需要273次采样；而同样精度、答对率50%时，只需要51次。
第二个结论是关于"有多少训练资源被白白浪费了"的问题。当一道题全部答对或全部答错时，那个标准差为零，整组训练数据产生零学习信号——这种情况被称为"沉默组"。沉默组的概率精确地等于p的G次方加(1-p)的G次方，其中p是这道题的答对概率。
研究者把这个公式应用到了真实数据上。他们使用了一个名为Big-Math的大型数学题数据集，包含215,608道数学题，每道题都有Llama-3.1-8B模型做了64次尝试的实际答对率。在这份数据里，当采样次数G=8时，有44%的题目组会成为沉默组，产生零学习信号；即使把采样次数增加到64，仍有17%的题目组保持沉默。更麻烦的是，其中11.2%的题目在任何采样次数下都永远沉默——因为这些题目要么每次都答对（太简单），要么每次都答错（太难），无论抽多少次样，都不会出现"有对有错"的分歧局面。这就是DAPO需要额外动态替换采样的原因：它实际上是在系统性地消除这些沉默组。
第三个结论是关于"GRPO和Dr. GRPO到底优化的是什么目标"的问题。当采样次数趋向无穷大时，GRPO的训练方向等价于优化一个叫做"反正弦变换"的数学函数：2×arcsin(√p)，而Dr. GRPO优化的是原始的答对率p本身。这两个目标在数学形状上有本质区别：反正弦变换对极端难度的题目赋予了更高的边际权重，而原始答对率对所有难度的题目一视同仁。
具体来说，GRPO给每道题赋予的"边际学习权重"等于1/√(p(1-p))。当题目难度恰好是50%时，这个权重等于2；当题目难度是5%时，这个权重约等于4.6——是中等难度题的两倍多。这就是Dr. GRPO论文中所说的"难度偏差"：GRPO会自动过度关注极难和极简单的题目。而Dr. GRPO去掉除法之后，每道题的权重变成了固定的1，没有任何难度偏向。
这个发现的重要性在于：这种"难度偏差"并非GRPO的一个意外副作用或设计失误，而是它在数学上必然带来的结果——只要你用了标准差做除法，你就是在隐式地优化那个反正弦变换，就必然会得到这个难度偏向的权重分配。理解了这一点，你才能有意识地选择：我是要GRPO的偏向极端难度的优化方式，还是Dr. GRPO的均等对待所有难度的优化方式？
**五、在真实数据上的验证：理论预测与现实高度吻合**
研究者在Big-Math数据集上验证了上述所有理论预测，并进行了一次受控的模拟训练实验。
在数据集分析部分，他们首先描述了Big-Math的难度分布：这份数据集呈明显的双峰分布，有4%的题目从未被答对（答对率为0），有7.2%的题目每次都被答对（答对率为1），中间区域则有相当广泛的分布。这说明极端难度的题目在现实数据中占有真实比例，绝非理论上的边角案例。
在梯度预算分配方面，对比GRPO和Dr. GRPO在这份数据集上的实际差异：GRPO把24.7%的有效训练梯度分配给了极端难度题目（答对率低于10%或高于90%），而Dr. GRPO只分配了13.9%——差距将近1.8倍。相应地，GRPO给中等难度题目分配的梯度比例（17.5%）低于Dr. GRPO（22.8%）。这一差异不是微小的数字游戏，而是训练信号分布的实质性改变。
在模拟训练实验中，研究者构造了6,000个简化版"模型"，每个模型对应一道题，初始难度从Big-Math的真实分布中抽取，然后分别用GRPO、Dr. GRPO和DAPO三种规则训练150步。
实验结果与理论预测的吻合程度令人印象深刻。沉默组比率的变化曲线与理论公式的预测值达到了R?=0.999的契合度——几乎完美。梯度质量分布也与有限采样下的理论修正公式精确匹配。在学习轨迹方面，对于初始最难的那25%题目，GRPO在150步后将平均答对率提升到了0.99，Dr. GRPO只达到了0.88，而DAPO（动态替换沉默组）则最快达到了高答对率，但代价是需要3.5倍的额外采样开销。
这个实验不只是验证了数学公式，它还展示了三种方法在实际训练动态上的差异：GRPO因为给极端难度题目更高权重，所以在那些最难掌握的题目上进步更快；Dr. GRPO进步更均匀但对极难题目的推进较慢；DAPO通过避免在沉默组上浪费计算，把所有资源都花在有实际学习信号的题目上，速度最快，但需要持续检测和替换采样。
**六、这个发现对AI训练实践意味着什么**
研究者在论文中非常谨慎地指出：这项研究的结论并不是"哪种方法最好"，而是揭示了这三种方法的实质差异，让从业者能够有意识地做出选择。
选择GRPO意味着你认为对极端难度的题目施加更多训练压力是值得的——这样做可以更有效地"救活"那些极难题目，但代价是你的隐式目标变成了那个反正弦变换，而非原始的答对率。选择Dr. GRPO意味着你更希望模型在整体答对率上均匀提升，不偏不倚地对待每个难度层级。选择DAPO的动态采样策略意味着你重视计算效率——宁愿多花几次采样来确保每次更新都有实际意义，而不是把更新浪费在全对或全错的无效题目组上。
论文还有一个更深层的启示：这种单组精确核算的分析框架，可以被推广到其他训练设计选择上。基于排名的优势函数、基于分位数的奖励、奖励裁剪、长度归一化——每一种都可以用同样的方式，从"一道题、一组采样、一次精确更新"出发做分析，把各种看似神秘的工程选择还原为可理解的数学操作。
这项研究的局限性同样值得一提：论文中的核心等式专门针对二元奖励（答对得1，答错得0）和单次在线更新的情况。对于奖励裁剪、KL惩罚项、离策略更新、非二元奖励等情况，同样的分析框架需要额外的处理。受控实验是在一个大幅简化的标量模型上进行的，真实语言模型的训练动态会更复杂。不过研究者指出，核心等式本身在数学上对任意维度的策略都成立，真实语言模型的训练日志中理应能观察到同样的现象。
归根结底，这项研究做了一件很朴素的事：把三个被分开讨论的东西，找到了它们共同的根。那个根，是一个你可以直接从采样数据里算出来的数字——组内标准差。它不只是一个做除法用的分母，它就是这道题当前能产生的学习量本身。分歧越大，学习越多；完全没有分歧，就什么都学不到。
有兴趣深入了解完整数学推导和实验细节的读者，可以通过arXiv编号2607.00152查阅原论文，研究团队还在GitHub上开放了全部代码，供任何人复现验证。
---
Q&A
Q1：GRPO和Dr. GRPO到底有什么实质区别，哪个效果更好？
A：GRPO在计算训练信号时多了一个"除以组内标准差"的步骤，这让它在数学上等价于优化反正弦变换目标，会给极难和极简单的题目赋予更高的训练权重；Dr. GRPO去掉了这个除法，优化的是原始答对率，对所有难度一视同仁。没有绝对更好的说法，取决于训练目标：想要更用力攻克极难题目就选GRPO，想要整体均匀提升就选Dr. GRPO。
Q2：GRPO训练时为什么要让AI对同一道题做很多遍，不是很浪费资源吗？
A：这些重复作答不是真正的"浪费"，而是测量AI当前在这道题上的不确定性。只有当部分尝试答对、部分答错时，才能比较两种路径的差异，产生有效学习信号。如果全答对或全答错，根本没有对比可做，重复多少遍都是零学习信号。重复采样的目的，正是为了找到这种"有分歧"的状态。
Q3：DAPO的动态采样是什么意思，它解决的是什么问题？
A：DAPO发现，当AI对某道题的所有尝试结果完全一致（全对或全错）时，组内标准差为零，这组数据完全无法产生任何训练更新。DAPO的解决方案是检测到这种"沉默组"后直接丢弃，换一道有对有错分歧的题目顶替。在包含215,608道题的Big-Math数据集里，G=8时有44%的题目组会出现这种沉默情况，DAPO通过动态替换把这部分计算资源用到了刀刃上。
赢盈配资提示：文章来自网络，不代表本站观点。
