对未来 AI 引发人类灾难的主观概率估计。
P(doom) 是给 AI 时代报“暴雨概率”:不是断言末日必来,而是提醒大家带伞出门。
它用于讨论该投多少安全资源、政策该多严;常见于实验室和政府决策。
AlignmentP(doom) 常用于估计未对齐 AI 可能带来的灾难风险。
AGI它常被用来讨论通用智能出现后,风险会有多大。
Superintelligence若 AI 能力远超人类,人们通常会给出更高的风险估计。