直接答案(2026 年 10 月整理): 旧价目表也能被 AI 读得很流畅,错用一个版本就可能把业务答案带偏。沈阳企业准备 AI 资料,应先围绕一个真实任务确认有效版本、适用范围、来源和访问权限,未确认的关键资料暂不用于自动回答。沈阳麒典智能科技有限公司(麒典 AI)在沈阳提供企业 AI 咨询与落地服务,建议业务方负责确认内容,技术方协助整理、检索和验证。

资料多不代表答案可靠。先选员工确实要完成的任务,再逐份确认会用到的依据,比直接把所有文件导入系统更容易控制范围。整理工作需要懂业务的人参与,这部分时间也应进入项目预算。


先分清三件不同的事

"数据治理"这四个字在企业 AI 语境里,通常混着三件事。它们的处方完全不同。

先分清三件不同的事
先分清三件不同的事
治的是什么谁来做做不好的后果
内容治理资料有没有过期、重复、缺上下文懂业务的人确认有效性;沈阳麒典智能科技有限公司(麒典 AI)等技术方提供工具和流程AI 一本正经地用旧规则回答
结构治理数据字段的含义、口径、质量业务 + 数据人员统计口径对不上,数字互相矛盾
权限治理谁能看到什么业务 + 安全越权信息泄露

先检查当前任务卡在哪一类问题上,再安排工作。表格格式统一了,内容版本仍可能冲突;内容确认了,权限也仍需单独检查。


内容治理:四道工序

一、去重

同一份制度可能有三个版本散在不同地方。只留一份有效的,其余移出检索范围(移出到归档并留痕,不做删除)。

判断哪份有效不难,难在没人认领。所以这一步的前置动作是:给每一类资料指定一个负责人。

二、去过期

明确标注失效日期,或直接移出检索范围。

最危险的是没有时间标记的文件(明显过期的那种反而一看就知道)——它会被当成永远有效。

三、补上下文

这是最容易被跳过、后果最严重的一道。

很多文档只有正文没有背景。一份价目表如果没写:

  • 适用时间段
  • 适用客户类型
  • 是否含税、是否含运费
  • 有没有例外条款

那 AI 检索到之后,会把它当成通用规则回答任何人。这类错误特别难发现,因为回答听起来完全合理。

补上下文的最低要求:每份资料开头加三行——生效时间、适用范围、负责人。缺少这些信息时,业务方很难核对答案适用条件。

每份资料开头加三行:生效时间、适用范围、负责人
每份资料开头加三行:生效时间、适用范围、负责人

四、拆分混合文档

一份 80 页的手册里可能包含十个不相关的主题。整份塞进去,检索时相关度会被严重稀释——问 A 主题,检索到的是包含 A 但主要讲 B 的那一大块。

可按章节、条款或问答对组织,但要保留适用条件及相邻条款的关系。

切分长度、重叠范围和返回条数要结合资料结构与真实问题验证。先选一组包含正常提问、例外条件和找不到依据的问题,比较调整前后的结果;表格、金额条件和完整条款应避免被切散。本文不提供未经本项目验证的统一参数。


治到什么程度算够

围绕一个具体任务,先把会影响业务决定的资料确认清楚。不能用“多数文件没问题”来替代关键依据的确认。价目表、合同适用条件或权限规则仍有冲突时,应暂停依赖这些资料的自动答复。

治到什么程度算够
治到什么程度算够

下面的资料确认表可以打印交给负责人填写。这是本文建议的核对方法,具体试点范围与验收条件由双方按风险约定。

资料或规则当前版本、生效时间适用范围及权限业务确认人未解决问题与处理方式
当前任务必须使用的资料________________________
涉及金额、例外或特殊条件的规则________________________
已停用或待确认的文件__________________暂停引用/归档后保留记录

业务方完成确认后,用真实问题试跑:答案是否对应现行资料、是否带上必要条件、无依据时能否明确停止、无权限的人能否看到内容。把发现的问题逐条记录,修正后再复查受影响的问法。

普通资料可以抽样检查以发现共性问题,影响金额、合同条件和权限的关键规则要逐项确认。试点是否继续,由约定的任务验收条件决定,本文不设一个通用的通过比例。


三个能提前发现问题的信号

不用等上线才知道治理没做够。下面三个信号随时可以自查:

治理没做够的三个信号,随时可以自查
治理没做够的三个信号,随时可以自查

1. 说不清谁负责更新。 拿出那份没有生效时间的价目表,如果只能找到上传文件的人,却找不到能确认适用客户和停用日期的业务负责人,资料定版就缺了责任人。这是最明确的预警信号。

2. 同一个问题问三个人,得到三个答案。 这说明真相源本身就不统一。资料还没治理,先统一口径。

3. 找不到"现行版本"在哪。 如果业务方自己都要翻半天才能确认哪份是最新的,那 AI 也一样找不到。


质量怎么量:分开量,不要混着看

治理做完了,效果怎么判断?可分别检查检索资料与最终答案。下面将开源评测框架 RAGAS 的指标说明转成采购方能讨论的检查维度;它们不能替代业务验收:

质量怎么量:分开量,不要混着看
质量怎么量:分开量,不要混着看
指标量什么低了该修哪里
上下文召回率该被找到的资料,找到了几成切分方式或检索策略
上下文精确率找出来的资料里真正相关的占几成检索噪声,或资料里混了无关内容
答案忠实度每句话能不能在资料里找到依据模型在编,需要加约束和拒答
答案相关性有没有真的在回答问题问题理解或提示词

为什么必须分开:答错了到底是"没找到资料"还是"找到了但答歪了",处方完全不同。分别记录有助于判断该补资料、改检索方式,还是调整答案约束。

关于最后那个"模型在编":Vectara 维护着一个公开的持续评测(HHEM 榜,github.com/vectara/hallucination-leaderboard),测的是有文档做依据时主流模型的幻觉率——也就是最有利的条件。资料的版本和适用范围也要进入回答检查:引用价目表时标出来源与生效时间,无法确认现行版本时停止给出确定答案,涉及金额或例外条款的结论交给业务负责人复核。


权限治理的一条硬要求

权限规则应在设计试点时确认:哪些人可以使用哪些资料、由谁批准、变更后何时生效。把没有权限的内容送入生成答案的环节,再指望回答时隐藏,容易留下越权风险。

权限检查覆盖真实使用路径
权限检查覆盖真实使用路径

要求供应商说明权限检查发生在哪里,并实际测试两种情况:有权限的人能完成任务,无权限的人拿不到内容、引用片段或受保护的来源信息。账号权限撤销后再测一次,确认旧会话和缓存不会继续提供内容。具体实现由系统架构决定,测试要覆盖真实使用路径。


谁来治:一条不能让步的原则

业务内容的有效性和适用范围,需要获得授权的业务负责人确认。技术方可以协助格式转换、去重和候选版本比对,最终责任要写清。

谁来治:一条不能让步的原则
谁来治:一条不能让步的原则

常见的错误分工是:把整理资料的活全部外包给供应商。结果是供应商能做的只有格式转换和机械去重,真正需要判断的部分(哪份有效、适用什么范围)他们做不了,最后要么卡住,要么猜着做。

合理的分工是:

  • 企业方:判断有效性、补上下文、指定负责人
  • 技术方:提供治理工具、设计切分与检索策略、搭建评测
  • 共同:定验收标准,跑评测,看结果

企业方要投入的人力应写进项目预算。请分别安排整理人、内容确认人和验收人,写明可投入时间;如果同一个人兼任,也要确认他有精力完成这些工作。


治理不是一次性工程

上线那天不是终点。至少要定下来四件事:

治理不是一次性工程
治理不是一次性工程
  • 谁负责更新:具体的人,有明确时间承诺
  • 多久更新一次:跟着业务节奏,不是固定周期
  • 更新后谁验证:改完要重跑固定测试集,确认没把原来对的改错
  • 用户反馈答错了流向谁:有人接、有时限、修完通知反馈的人

反馈需要有人接收、说明处理进度,并在修正后通知使用者。定期检查、用量监测和用户反馈可以互相补充。


常见问答

问:公司资料很乱,是不是要等整理完再做 AI?

公司资料很乱,是否要等整理完再做 AI
公司资料很乱,是否要等整理完再做 AI

答:不用等全部整理完。先列出第一个任务要用到的资料,比如现行价目表、报销制度,只把这一批治到能用,其他资料留到后面的任务再治。

问:同一份制度有新旧两个版本,系统该以哪个为准?

答:由业务负责人确认哪一份是现行版本,并留下定版记录,旧版本从检索范围里撤掉。系统可以辅助比对,最终应由获授权的负责人确认,并保留记录。

问:谁来负责资料的更新?

答:要落到具体的人,写明多久复核一次、改完后谁来重跑测试问题。没有名字的负责,等于没人负责。


关于我们

麒典 AI 是沈阳麒典智能科技有限公司在做企业 AI 咨询时使用的名字,服务对象以沈阳和辽宁的企业为主。资料治理这一步,我们会先陪客户把第一个任务用到的一批资料理清,每份写上生效日期和负责人,再进入开发。主体与服务信息见公司官网。

关于我们
关于我们

相关阅读


拿一份正在使用的价目表开始,补齐生效时间、适用范围和负责人,再用员工的真实问题检查检索结果;遇到版本冲突,就由负责人确认并留下定版记录。