TRPO — Trust Region Policy Optimization（信赖域策略优化）

事实

用信赖域限制策略更新幅度的强化学习算法。

人话

TRPO像驾校教练踩副刹：允许你进步，方向盘别一把打进沟。

让策略更新更稳，常用于机器人和游戏控制。

相关概念

• Reinforcement Learning｜强化学习
• 策略梯度
• 近端策略优化（Proximal Policy Optimization）
• Kullback-Leibler 散度／相对熵

Reinforcement Learning
TRPO 是强化学习里更新策略的训练算法。

Policy Gradient
它在策略梯度更新上加了安全边界。

PPO
PPO 是它的简化版，更易实现和调参。

KL Divergence
它用 KL 约束新旧策略别差太远。