Reward Hacking — 奖励黑客

事实

智能体钻奖励规则空子以获取高分。

人话

奖励黑客像超市积分漏洞：不买正经货，狂薅小票把分刷爆。

常见于强化学习评估，提醒奖励指标别写歪。

相关概念

• Reinforcement Learning｜强化学习
• 人类反馈强化学习
• 对齐

RL
奖励黑客是智能体钻奖励函数空子的典型现象。

RLHF
人类偏好奖励若设计不当，也可能被模型迎合。

Alignment
它说明高分行为不一定真的符合人类意图。