先验收业务任务，再验收模型表现
模型回答准确率很重要，但企业购买的是任务结果。一个销售助手即使文字很好，如果不能调用正确产品版本、不能标出待确认项、不能进入客户跟进流程，就没有完成业务目标。一个会议助手即使转写率很高，如果决定、建议和行动项混在一起，也可能造成责任误读。
因此验收对象应写成完整任务：谁从什么入口提交什么输入，系统调用哪些资料和工具，输出进入哪里，哪些情况必须停下，最终由谁确认。每个任务都要有成功、部分成功、失败和转人工定义，避免把所有错误压成一个模糊准确率。
七类指标组成完整验收表
第一是任务完成，关注完整链路是否结束。第二是质量，包括事实、引用、格式和业务规则。第三是效率，比较处理时间、等待时间和人工步骤。第四是异常，观察无资料、系统不可用、输入错误和冲突信息时能否正确停下。第五是安全，检查权限、敏感信息、日志和人工批准。第六是使用，关注目标岗位是否持续使用以及为什么放弃。第七是成本，计算模型、接口、运维和人工复核的总成本。
指标不宜追求看起来漂亮的统一高分。高风险任务的越权率可能必须为零，低风险草稿任务则可以允许人工修改。不同任务使用不同阈值，但计算口径、样本和责任人必须在开发前锁定。验收通过也不代表永远不变，资料、模型和业务更新后要重新抽检。
- 任务完成：完整链路结束比例
- 结果质量：事实、引用、格式与规则
- 效率：耗时、等待和人工步骤变化
- 异常处理：拒答、回退和转人工正确性
- 安全合规：权限、敏感信息与日志
- 真实使用：目标岗位持续使用和反馈
- 总成本：模型、接口、运维与复核投入
样本、基线和证据决定验收是否可信
样本应来自历史真实任务并完成脱敏，覆盖常见、边界、冲突、无答案、越权和系统异常。甲方业务负责人负责确认样本代表性，实施方负责记录系统结果，双方按预先约定的规则判分。只用实施方挑选的漂亮样本，无法证明生产可用。
项目开始前还要记录人工基线，包括当前耗时、错误、等待、返工和成本。上线后使用同一批或同分布样本比较。所有结果保留输入版本、知识版本、系统版本、时间、输出和判分理由，使问题能够回到资料、检索、规则、模型或流程层修正，而不是靠争论结束。
执行检查表
- 01把验收对象写成完整业务任务
- 02固定真实脱敏样本与边界样本
- 03记录上线前人工基线
- 04分别设置质量、效率、异常和安全阈值
- 05明确甲方、实施方与最终签字人
- 06保留版本、日志、判分和问题修正记录
常见问题
企业 AI 验收只看准确率可以吗？
不可以。还要看完整任务、耗时、异常、安全、使用和成本，否则高准确率也可能无法进入业务。
验收样本应该由谁提供？
应由甲方业务负责人和实施方共同确定，以真实脱敏任务为主，并覆盖边界、无答案和越权情况。
AI 项目验收通过后还需要复测吗？
需要。资料、模型、接口和业务规则会变化，应设置定期抽检和重大变更后的回归测试。