认为大网络中存在可单独训练好的稀疏子网络。
彩票假设说大网络像一整卷彩票:天生夹着一张中奖的,找到它,其余全撕掉也能赢。
解释大幅剪枝为何可行,用于压缩、训练研究。
Network Pruning剪枝是寻找中奖彩票子网络的常用方法。
Overparameterization过参数化让大网络更可能藏有高效子网。
Weight Initialization彩票假设强调原始初始化对训练成败很关键。
Model Compression它启发用稀疏子网络缩小模型规模。