WarpSAC：通过重新思考探索与利用迈向可扩展离策略强化学习的巅峰

大规模并行仿真改变了离策略强化学习（off-policy RL）训练所面对的数据环境，对为数据有限的回放机制设计的稳定器提出了挑战。通过在八个基准家族中的受控实验，我们表明这些稳定器具有数据环境依赖性：参数归一化有助于狭窄的回放覆盖，但在数据充足时会限制值函数拟合，而裁剪双Q（clipped double-Q）在高吞吐操作中可以放宽。年龄偏置的回放加权在不同环境下均能提高学习效率，尤其是在网络容量有限时。 基于这些发现，我们提出了WarpSAC，一个环境感知的离策略强化学习算法家族。WarpSAC使用样本权重衰减（Sample Weight Decay）实现高效利用，并提供两种变体：WarpSAC-L（归一化开启，裁剪双Q）适用于数据有限的CPU规模训练，以及WarpSAC-A（归一化关闭，单Q）适用于数据充足的GPU并行训练。WarpSAC在九个CPU规模环境中将归一化得分-步长AUC较FlashSAC提升4.5%，在十四个GPU并行环境中提升23.1%。它将UnitreeG1TransportBox-v1的成功率从19.8%提升至96.4%，在MuJoCo Playground上将平均归一化墙钟时间AUC提升19.1%，并在Unitree G1上实现比FlashSAC快36.4%的仿真到现实部署。这些结果表明，可扩展的离策略强化学习应根据可用数据环境调整其稳定器。