用评测体系替代“感觉不错”：AI 应用上线前最该补的能力

AI 应用最常见的失败模式，不是模型太弱，而是团队根本不知道“现在好不好、为什么变差了、下一步该优化什么”。评测体系不是大厂专属，它应该是每个做 AI 产品的团队的基本盘。

先定义“不可接受的错误”

有些错误是可以容忍的，比如措辞不自然；但有些错误必须零容忍，比如错误引用制度、误发消息、给出风险建议。

先把红线定义出来，评测才有意义。

样本要覆盖真实业务语境

离线题库当然重要，但更重要的是把线上常见问题、历史误答和边界案例持续沉淀进评测集。

只要评测集持续迭代，AI 能力就不会停在一次性项目阶段。

把评测结果和版本一起管理

模型版本、提示词版本、检索策略版本和工具调用版本，都应该和评测结果绑定。

这样一旦质量波动，就能快速定位到底是模型变了，还是上下文、检索或业务规则变了。