Softmax — Softmax 归一化函数

事实

把一组分数转成总和为 1 的概率。

人话

像奶茶店分最后一桶珍珠：谁分得多、谁只捞几勺，得按人气折成一整桶里的占比。

把一串分数压成概率，常用于分类和预测下一个词。

相关概念

• 词元
• 温度（采样）
• 大语言模型
• Backpropagation（反向传播）

Token
它把每个候选词的分数转成可比较的概率。

Temperature
温度会拉平或拉尖它的分布，影响输出随机性。

LLM
大模型生成下一个词时，通常先靠它做概率化。

Backpropagation
训练时误差会穿过它回传，更新前面的参数。