AI Rookies

Benchmaxxing — 基准刷分

事实

为提高基准成绩而专门优化模型或提示。

人话

基准刷分像高考只背押题卷:榜单挺光鲜,真干活连外卖地址都填错。

它会抬高榜单分数,干扰模型选型。

相关概念

Benchmark contamination
基准污染会让刷分更容易,也更难被发现。

Leaderboard
刷榜优化通常围绕榜单排名展开。

MMLU
热门基准越常被引用,越容易被专项优化。

Reward hacking
它像评测里的奖励黑客,追分不追真能力。