Token Pruning — 词元剪枝

事实

在处理时丢弃不重要 Token 以减少计算的方法。

人话

词元剪枝像剪片子：废镜头一剪，节奏立刻就快了；剪过头，伏笔也跟着没了。

它用于长文本和视觉模型，省算力、提速度，误删会漏信息。

相关概念

• 词元
• 注意力机制
• Transformer 架构

Token
它在处理时移除影响较小的 Token。

Attention
注意力分数可帮助它判断哪些 Token 更重要。

Transformer
它通过减少参与计算的 Token，为 Transformer 减负。