BIG-bench — Beyond the Imitation Game Benchmark（超越模仿游戏基准）

事实

用于评测大语言模型多任务能力的基准集。

人话

它像给大模型办庙会擂台：算题猜谜讲常识，哪门瘸腿当场现形。

用于比较大模型综合力，也提醒别把榜分当智商。

相关概念

• 大语言模型
• Massive Multitask Language Understanding，大规模多任务语言理解
• 涌现能力
• 基准污染（Benchmark Contamination）

LLM
BIG-bench 用多样任务考察 LLM 的综合能力边界。

MMLU
MMLU 更像标准考试，BIG-bench 更偏杂技挑战。

Emergence
BIG-bench 常被用来观察能力突然跃升。

Benchmark Contamination
若题目混入训练集，成绩会被抬高。