DelTA: 基于可验证奖励的强化学习中的判别性令牌信用分配

基于可验证奖励的强化学习（RLVR）已成为提升大语言模型推理能力的核心技术。尽管其效果显著，但响应级奖励如何转化为词元级概率变化仍缺乏深入理解。我们引入RLVR更新的判别器视角，证明策略梯度更新方向隐式地充当词元梯度向量的线性判别器，从而决定学习过程中哪些词元的概率被提升或降低。在标准序列级RLVR中，该判别器由优势加权平均词元梯度向量形成的正负侧质心构建。然而，这种质心构建可能被共享的高频模式（如格式词元）主导，从而稀释了能更好区分高奖励与低奖励响应的稀疏判别方向。为解决这一局限，我们提出DelTA——一种判别性词元信用分配方法，通过估计词元系数来放大侧特定词元梯度方向，同时降低共享或弱判别方向的权重。这些系数重新加权自归一化RLVR代理，使有效侧质心更具对比性，从而重塑RLVR更新方向。在七个数学基准测试中，DelTA在Qwen3-8B-Base和Qwen3-14B-Base上分别比最强同规模基线平均高出3.26和2.62个点。代码生成、不同骨干网络及域外评估的额外结果进一步证明了DelTA的泛化能力。