AI Rookies

Bias-Variance Tradeoff — Bias-Variance Tradeoff(偏差-方差权衡)

事实

模型在欠拟合与过拟合之间的经典权衡。

人话

下棋太死守,容易处处挨打;太爱赌妙手,又可能一招走飞。稳和狠,不能两头都占。

它影响模型该多灵活、管多严,常出现在选模型、调参和防过拟合。

相关概念

Regularization
正则化常用来抑制过拟合,帮助平衡方差。

Empirical-risk-minimization
只顾把训练误差压低,常会把方差推高。

Statistical-learning-theory
它是统计学习理论里最经典的权衡之一。

Inductive-bias
模型的先验假设会直接影响偏差与方差。