Double Descent — 双重下降

事实

测试误差随模型复杂度先降、升、再降的现象。

人话

双重下降像考研刷题：题太少不会，刚会背最飘；题海刷穿，反而摸到套路。

提示大模型未必更差，评估泛化别只套 U 形。

相关概念

• 过度参数化
• Bias-Variance Tradeoff（偏差-方差权衡）
• 规模法则
• 统计学习理论

Overparameterization
双重下降常出现在参数多于样本之后。

Bias-Variance Tradeoff
它挑战了传统 U 形泛化误差直觉。

Scaling-law
它说明继续变大有时仍能变好。

Statistical Learning Theory
它推动理论重新解释泛化。