AI Rookies

Specialized Attention Hybridization — 专化注意力混合

事实

按注意力头的功能特长混搭机制:精确召回的头用全注意力,其余头用低成本线性注意力。

人话

专化注意力混合像车间排班:精密件交老师傅慢慢磨,大路货上流水线快速过,同一层里好钢用在刀刃上。

用于长文本推理提效,精度不丢,算力省下。

相关概念

Attention
它在头一级混搭全注意力和线性注意力。

Self-Attention
同一层的自注意力头功能各异,它按特长派活。

Transformer
它让 Transformer 跑长文本时又准又省。

Flash Attention
Flash Attention 把注意力算得更快,它让注意力算得更少。