模型参数数量超过拟合训练数据所需的现象。
过度参数化像用 500 色蜡笔画简笔画小狗:颜色多到用不完,挑起来反而顺手。
常见于深度大模型,让训练更顺,但更依赖数据与正则化。
Parameter过度参数化指参数数量超过拟合所需。
Regularization正则化约束多余自由度,减少过拟合。
Deep Learning深度学习常用海量参数提升可训练性。
Bias-Variance Tradeoff它让“参数多必过拟合”的直觉变复杂。