AI Rookies

Parameter — 参数

事实

模型在训练中学到并用于计算输出的内部数值。

人话

参数就像奶茶店配方里的糖和冰,调多少,训练完都记在小本本上。

它决定模型怎么判断和生成,也常被用来粗略衡量模型规模。

相关概念

Neural-network
Parameter 是 Neural-network 通过训练学到的内部变量。

Pretraining
更多 Parameter 往往需要更大规模的 Pretraining 才能发挥作用。

Foundation-model
Foundation-model 的能力上限常与 Parameter 规模相关。

Scaling-law
Scaling-law 描述 Parameter 增长与性能提升的关系。