模型在训练中学到并用于计算输出的内部数值。
参数就像奶茶店配方里的糖和冰,调多少,训练完都记在小本本上。
它决定模型怎么判断和生成,也常被用来粗略衡量模型规模。
Neural-network
Parameter 是 Neural-network 通过训练学到的内部变量。
Pretraining
更多 Parameter 往往需要更大规模的 Pretraining 才能发挥作用。
Foundation-model
Foundation-model 的能力上限常与 Parameter 规模相关。
Scaling-law
Scaling-law 描述 Parameter 增长与性能提升的关系。