GAE — Generalized Advantage Estimation，广义优势估计

事实

一种估计策略优势的低方差方法。

人话

GAE像篮球赛后看正负值：别只记一球打铁，要算整段在场赢没赢。

用于策略梯度和机器人训练，降低方差，让更新更稳。

相关概念

• 策略梯度
• 演员-评论家方法
• 时序差分学习（Temporal-Difference Learning）
• 近端策略优化（Proximal Policy Optimization）

Policy Gradient
它为策略梯度提供更稳的优势估计。

Actor-Critic
评论家估价值，它负责把优势信号算稳。

TD Learning
它用多步 TD 误差折中偏差和方差。

PPO
PPO 常用它来计算每步动作的优势。