AI Rookies

Cross-Entropy Loss — 交叉熵损失

事实

衡量模型预测分布与真实分布差距的损失函数。

人话

像相亲时你不光得押中对方喜好,还得押得准;明明猜对方向却拿不准劲儿,照样减分。

常用于分类和语言模型训练,衡量预测偏得有多离谱。

相关概念

Softmax
它常接在 Softmax 后,对输出概率进行计分。

Gradient Descent
它给梯度下降提供优化目标,指导参数更新。

Backpropagation
它产生的误差信号,会通过反向传播传回网络。

Language Modeling
语言模型预测下一个词时,常用它来训练。