PEFT — 参数高效微调

事实

只更新少量参数来适配任务的微调方法。

人话

PEFT 像给旧西装缝个新口袋：不拆整件衣服，也能装下新任务。

常用于私有定制，省显存省成本，但受底座上限限制。

相关概念

• 微调
• 低秩适配
• 基础模型

Fine-tuning
PEFT 是微调的省参数做法，只更新少量权重。

LoRA
LoRA 是最常见的 PEFT 方法之一，训练低秩增量。

Base Model
PEFT 通常冻结底座主体，只加少量可训练部分。