DPO — 直接偏好优化

事实

用偏好数据直接优化模型回答的方法。

人话

DPO 像相亲不看媒婆打分，直接问你选谁：喜欢的学，不喜欢的改。

用于模型对齐，让回答更合口味，训练也更省。

相关概念

• 人类反馈强化学习
• 后训练
• 微调
• 对齐

RLHF
DPO 是 RLHF 的简化路线，少绕奖励模型。

Post-training
DPO 常用于预训练后的偏好对齐阶段。

Fine-tuning
DPO 用偏好样本继续微调模型行为。

Alignment
DPO 让模型回答更贴近人类偏好。