为提高基准成绩而专门优化模型或提示。
基准刷分像高考只背押题卷:榜单挺光鲜,真干活连外卖地址都填错。
它会抬高榜单分数,干扰模型选型。
Benchmark contamination基准污染会让刷分更容易,也更难被发现。
Leaderboard刷榜优化通常围绕榜单排名展开。
MMLU热门基准越常被引用,越容易被专项优化。
Reward hacking它像评测里的奖励黑客,追分不追真能力。