AI Rookies

Overparameterization — 过度参数化

事实

模型参数数量超过拟合训练数据所需的现象。

人话

过度参数化像用 500 色蜡笔画简笔画小狗:颜色多到用不完,挑起来反而顺手。

常见于深度大模型,让训练更顺,但更依赖数据与正则化。

相关概念

Parameter
过度参数化指参数数量超过拟合所需。

Regularization
正则化约束多余自由度,减少过拟合。

Deep Learning
深度学习常用海量参数提升可训练性。

Bias-Variance Tradeoff
它让“参数多必过拟合”的直觉变复杂。