将不同 AI 版本随机展示给用户比较效果的实验方法。
奶茶店暗中让两桌人试喝新旧配方:哪桌先喝光,菜单就把哪款扶正。
上线前用真实反馈挑模型或提示词,别只看离线分数。
AI Model Selection它用真实用户反馈,为模型选型提供实测依据。
Evaluation Harness它补充离线评测,检验上线后的实际体验。
Model Regression它可发现新版本上线后是否出现体验回退。