从偏好到原则：基于评分标准的落地知识回答对齐

为开放域问答设计有效的奖励信号颇具挑战性，因为高质量的回答必须同时满足答案质量的多个方面，而这些方面难以通过一个整体的标量目标来捕捉。我们引入了一种基于评分标准的奖励框架，该框架生成基于检索证据的查询特定评分标准，并将其分解为多个质量维度，在训练后阶段提供细粒度的监督。在三个评估轴（构成、依据遵循和指令遵循）上取平均值，我们的方法相较于……有所改进。