Information Bottleneck — 信息瓶颈

事实

用压缩表示保留与目标相关信息的原则。

人话

信息瓶颈像高考小抄只够一掌大：考点留下，闲话统统删掉。

用于表示学习和压缩，帮助模型只保留任务线索。

相关概念

• 信息论（Information Theory）
• Representation Learning｜表征学习
• 降维
• Kullback-Leibler 散度／相对熵

Information Theory
信息瓶颈用信息量刻画哪些该保留、哪些该丢弃。

Representation Learning
它指导模型学到更紧凑、与任务更相关的表示。

Dimensionality Reduction
二者都压缩数据，但信息瓶颈更关心任务相关性。

KL Divergence
KL 常用于衡量压缩前后分布的信息差。