AI Rookies

LTH — Lottery Ticket Hypothesis|彩票假设

事实

认为大网络中存在可单独训练好的稀疏子网络。

人话

彩票假设说大网络像一整卷彩票:天生夹着一张中奖的,找到它,其余全撕掉也能赢。

解释大幅剪枝为何可行,用于压缩、训练研究。

相关概念

Network Pruning
剪枝是寻找中奖彩票子网络的常用方法。

Overparameterization
过参数化让大网络更可能藏有高效子网。

Weight Initialization
彩票假设强调原始初始化对训练成败很关键。

Model Compression
它启发用稀疏子网络缩小模型规模。