KL Divergence — Kullback-Leibler 散度／相对熵

事实

衡量两个概率分布差异的非对称指标。

人话

像网购前你认准这家“稳得很”，结果快递到手货不对板；你原先越笃定，翻车时就越扎心。

常用来约束模型别偏太远，也衡量分布差异。

相关概念

• 交叉熵损失
• 人类反馈强化学习
• 模型蒸馏

Cross-entropy-loss
交叉熵与它密切相关，常差一个目标分布的熵。

RLHF
在 RLHF 里，它常用于限制策略更新别偏太远。

Distillation
知识蒸馏常用它衡量学生对老师分布的贴近程度。