PagedAttention — 分页注意力

事实

一种将 KV cache 分页管理的注意力实现。

人话

分页注意力像共享单车车位：来几辆占几格，别让一辆车霸一排。

用于 LLM 在线推理，省显存并提升高并发吞吐。

相关概念

• Key-Value 缓存
• 显存
• 连续批处理（Continuous Batching）
• 大语言模型推理引擎

KV cache
分页注意力把 KV cache 切成小页按需分配。

VRAM
它减少显存碎片，让同一张卡服务更多请求。

Continuous batching
它配合动态批处理，减少高并发时的等待。

Inference engine
推理引擎常用它提升 LLM 在线服务吞吐。