Dyna — Dyna 强化学习框架

事实

把真实经验和模型模拟一起用于强化学习。

人话

Dyna像武侠学徒练功：白天真过招挨打，夜里在脑内擂台再打一百遍。

让智能体少试错多练习，常用于模型式强化学习和机器人控制。

相关概念

• 基于模型的强化学习（Model-Based Reinforcement Learning）
• 时序差分学习（Temporal-Difference Learning）
• Q 学习

MBRL
Dyna 是早期把学习模型用于规划的代表框架。

TD Learning
Dyna 常用 TD 更新真实和模拟经验。

Q-Learning
Dyna-Q 把规划步骤接到 Q-Learning 上。