Alignment Tax — 对齐税

事实

让 AI 更安全可控所付出的性能或成本代价。

人话

给赛车焊上防滚架，翻车时能保命；可这身钢架，同时也是拖慢它的重量。

模型上线更安全可控，却要让出一截能力、速度和算力预算。

相关概念

• 对齐
• 人类反馈强化学习
• 宪法式人工智能

Alignment
对齐税指为实现安全对齐而付出的能力、速度或成本代价。

RLHF
RLHF 的人工反馈与训练流程，常是对齐成本的一部分。

Constitutional AI
Constitutional AI 用规则约束模型，也可能带来回答限制。