人类意图与机器可执行规则之间的落差。
顾客说煎饼要“有灵魂”,机器只认克数:葱花几粒、辣酱几勺,才算没辜负这句?
会让审批、诊疗建议等系统照章办事,却可能没办到人的真正意思。
Formal Methods形式方法能验证规则,却无法补全没被写出的意图。
Alignment对齐难题的一部分,是把人类价值准确写成目标。
Human-Centered AI以人为中心的设计会为模糊需求保留人的判断。