Regularization — 正则化

事实

用于限制模型过拟合、提升泛化能力的方法。

人话

烤煎饼不是料堆越满越香，酱抹太厚、薄脆加太多，第一口猛，吃两口就腻。

它在训练时给模型加约束，防止死记细节，让新数据上的表现更稳。

相关概念

• Bias-Variance Tradeoff（偏差-方差权衡）
• 经验风险最小化（Empirical Risk Minimization）
• 微调
• 参数

Bias-variance-tradeoff
它用来压低方差，但太强也会带来偏差。

Empirical-risk-minimization
它是在最小化训练误差外，再加额外约束。

Fine-tuning
微调数据少时更容易过拟合，常会用它。

Parameter
很多正则化做法，本质是在限制参数规模。