强化学习技术：奖励函数里的魔鬼，和落地时最贵的那几课

2026-11-05 20:49:57小研科研成果库6

先别急着调PPO超参。把奖励函数摊开看看。

上周和一个做机械臂的朋友吃饭。他吐槽，抓取成功率卡在62%三周了。换算法、加网络、调学习率，全试了。最后发现——奖励里把“靠近物体”和“夹爪闭合”给了双重加分。机器人学会了蹭过去、假装夹一下。动作挺像那么回事。物体没起来。对。这就是奖励黑客。

强化学习技术听着玄。说白了，智能体在环境里试错，拿奖励，改策略。核心是马尔可夫决策过程，状态、动作、转移、奖励、折扣。数学很干净。工程很脏。脏就脏在奖励和分布。

奖励函数：魔鬼藏在细节里

很多人以为强化学习是算法问题。我不这么看。奖励函数写错，算法再新也白搭。奖励是目标函数，也是漏洞说明书。你给它一个可钻的空子，它一定钻。还钻得比你聪明。

稀疏奖励更难受。机器人只有成功抓取才拿1分。前面几百步全是0。信用分配怎么分？哪一步有功？说不清。常见做法是奖励塑形，加距离、加姿态、加接触力。可塑形项一多，局部最优就来了。机器人可能卡在“靠近物体”这个舒服区。动一下，有分。再动，风险大。它不傻。

科研成果里有个老话题：逆强化学习、从演示里学奖励。听起来美。实际也怕分布偏移。演示没覆盖的状态，奖励模型可能瞎给分。还有偏好学习，RLHF那套。人类比较两个回答，训奖励模型，再用强化学习优化策略。问题是奖励模型也会被过优化。分数涨了，人觉得差了。这叫奖励模型过优化。别问怎么知道。问就是踩过。

强化学习机械臂抓取奖励函数设计示意图

我现在的习惯很土。先写失败案例清单。机器人怎么作弊？转圈、蹭分、卡边界、反复触发同一个开关。把这些问题写进奖励惩罚项。再跑短回合，看行为回放。不要只看曲线。曲线会骗人。行为不会。

还有一点，奖励尺度要统一。距离项0.01，成功项100，梯度会被成功项吃掉。训练初期几乎学不到东西。反过来，成功项太小，智能体躺平。调尺度很烦。但值得。

算法圈有个怪现象。新算法一出来，大家都想换。PPO稳，但吃显存、吃采样。GRPO最近很热，尤其在推理模型里。PPO的核心不是“高级”，而是约束更新幅度，用clip把策略变化摁住，别一步走太大扯着蛋。GAE做优势估计，critic估价值。工程细节一堆。

GRPO的思路不一样。GRPO用组内相对优势替代critic。同一个问题采样一组回答，按奖励算相对好坏。省掉价值网络，显存友好。对大规模语言模型推理训练很有吸引力。可它不是银弹。组大小、奖励归一化、采样多样性，哪个都能坑你。组内全对或全错，优势信号就弱。还得靠难度课程和采样策略。

离线强化学习也值得说。不能在线试错，就用历史数据。推荐、广告、工业控制里很现实。可离线数据覆盖不足，策略一偏离就完蛋。保守约束、不确定性惩罚，都是补丁。补丁不是免费。

大语言模型GRPO强化学习训练流程示意图

说实话，我不建议一上来追新。先把baseline跑稳，把评估做干净。训练曲线、成功率、鲁棒性、行为视频，四件套。少一件都容易被假象骗。尤其是随机种子。换三个种子，结论可能翻脸。别问我怎么知道。

具身智能火了。四足、人形、机械臂，论文视频一个比一个丝滑。落地呢？仿真到真机的分布漂移，能把人磨没脾气。摩擦系数、质量、延迟、光照、传感器噪声，仿真里都是参数。现实里都是玄学。

域随机化是常用招。随机质量、随机摩擦、随机延迟。让策略见过各种世界。可随机范围拍脑袋，太大训不出来，太小不鲁棒。系统辨识能帮忙，但慢。还有真实世界微调，危险。机器人摔一次，维修单比显卡贵。

我见过一个团队，仿真成功率95%。真机一上，抓空。查了两周。发现相机曝光延迟没建模。策略看到的是过去的世界。动作追着旧画面跑。补上延迟随机化，好了不少。你看，问题不在算法。在传感器。

仿真到真机迁移sim2real强化学习对比示意图

所以我现在看论文，先翻实验部分。真机实验多少小时？失败案例怎么处理？有没有跨物体、跨光照？只放成功视频的，我打个问号。不是不信。是被坑过。

这两年推理模型热。强化学习技术又回到聚光灯下。RLHF、可验证奖励、过程奖励模型，各种组合。思路不新鲜。新鲜的是规模。语言模型当策略，token当动作，奖励来自规则验证或人类偏好。

可验证奖励很关键。数学题对答案，代码跑单测，答案可验证，奖励就硬。比人类偏好稳。但也会被钻空子。模型学会输出格式讨巧，或者绕过真正推理。评估集一换，露馅。所以奖励要多样，验证要严。别只盯一个benchmark。

行业里还有个争论：强化学习到底能不能让模型“学会推理”，还是只是放大已有能力？我的看法偏工程。能稳定提升可验证任务的表现，就有价值。别神化。也别一棍子打死。DPO这类偏好优化绕开显式奖励模型，工程上省事。但它不是万能替代。在线采样和探索带来的东西，离线偏好数据给不了。

回到开头那个机械臂朋友。后来他把奖励改成阶段式。靠近给小额，接触给中额，抬起才给大额。加了夹爪闭合后物体位移的验证。成功率上到87%。算法没换。还是PPO。你说气不气。

强化学习技术好玩，也气人。它像训狗。奖励给对了，学得快。给错了，它学会开冰箱偷吃。还一脸无辜。做这行，得有点耐心。也得有点怀疑精神。曲线好看不算数。行为对了才算。

对了，别忘了评估。多 seed。多场景。多看失败回放。少看宣传视频。就这样。

没有最新的文章了…