HPO — 超参数优化（Hyperparameter Optimization）

事实

系统搜索超参数组合以提升模型效果的方法。

人话

打工人做表格，字号差一号、行距多一点，观感就变了；超参也这样，得反复试到最顺手那版。

常用于训练和微调，帮模型找到更稳更准的配置，但会更耗时耗算力。

相关概念

• 参数
• 微调
• 随机梯度下降
• 优化

Parameter
它调的是训练设置，不是模型自己学出来的权重。

Fine-tuning
微调时常要靠它寻找更合适的训练配置。

SGD
学习率、动量这类 SGD 设置常由它来搜索。

Optimization
它属于优化问题，但优化对象是超参数组合。