MDL — 最小描述长度

事实

用最短总编码选择模型的原则。

人话

最小描述长度像记外语语法：规则要背，例外也要背，两本账加起来最薄的才是好规则。

用于模型选择，也防过拟合：模型加误差，一起算总长。

相关概念

• 信息论（Information Theory）
• 正则化
• Bias-Variance Tradeoff（偏差-方差权衡）
• 统计学习理论

Information Theory
MDL 用编码长度统一模型复杂度和拟合误差。

Regularization
正则化常把“短解释”思想写进损失函数。

Bias-Variance Tradeoff
它提醒模型别为降低误差，把噪声也背下来。

Statistical Learning Theory
它是模型选择中偏好简单解释的一种原则。