Information Theory — 信息论（Information Theory）

事实

研究信息度量、编码与传输的理论。

人话

信息论像寄快递：既想箱子塞得紧省运费，又怕路上磕坏，还得收件人一拆就对货。

它决定压缩和通信如何更省、更稳，也影响模型里的熵和损失设计。

相关概念

• 交叉熵损失
• Kullback-Leibler 散度／相对熵
• 词元
• 统计学习理论

Cross-Entropy Loss
交叉熵把信息论里的熵搬进了模型训练。

KL Divergence
KL 散度是信息论里比较分布差异的经典工具。

Token
信息论可描述一个符号到底有多“值钱”。

Statistical Learning Theory
它关注信息；SLT 更关注学习与泛化。