模型规模提升后突然表现出的新能力。
涌现像孩子背了很久单词,某天突然能吵架了,家长既欣慰又害怕。
它说明模型能力不总是线性增长,也让大模型发展带来更多不可预测性。
Scaling-law
Scaling-law 为 Emergence 提供规模增长的经验背景。
Foundation-model
Foundation-model 越大,越容易观察到 Emergence 现象。
AGI
Emergence 让 AGI 看起来可能跨过某个能力阈值。
LLM
LLM 规模持续扩大时,可能出现新的 Emergence 能力。