企业AI 的效果怎么度量:任务完成率、人工介入率与灰度回归的工程做法
2026年11月13日

企业AI 最尴尬的时刻,往往不是上线失败,而是上线之后没人说得清它到底带来了什么。演示时的流畅被记住了,三个月的真实使用却只剩一句"感觉还行"。问题不在工具,在度量方式——大部分团队还在用"回答准不准"这套标尺,去衡量一个要动业务数据的系统。

一、"准确率"为什么度量不了企业AI

还有一层现实约束:企业AI 的每一次执行都带着权限和口径。同一句话在 A 部门合规、在 B 部门越权;同一个"利润"在财务口径和业务口径下是两个数。如果不把这些前置条件纳入度量,指标之间根本不可比。

二、四个能落地的硬指标

指标不求多,求每天能自动跑出来。以下四个是工程上最容易采集、也最能反映真实状态的。

任务完成率:进入流程的任务中,最终在业务系统里产生了预期动作的比例。注意分母是"进入流程的任务",不是"用户提问次数"——后者会把闲聊算进去,虚高。

一次通过率:不需要人工纠偏就完成任务的比例。它是"懂不懂业务"的直接体现:口径错了要改、数据取错了要重来、规则没匹配上要人补,这些都算未一次通过。

人工介入率:人工介入次数 / 任务数,并按介入原因分类(口径不清、权限不足、数据缺失、结果不信任、动作需确认)。分母相同,但分类比总数有用得多——它直接告诉你该补语义、补数据还是补流程。

四个指标之外,建议再挂两个观察项:单任务平均耗时(含等待人工的时间,别只算机器时间)、权限拦截次数(拦得多不一定是坏事,说明防线在工作)。

工程上建议三张表:

三张表用任务 ID 串起来,"一次通过率"就是"任务终态为完成且介入表无记录"的比例,一个 SQL 就能出。审计追踪那条防线本来就要留痕,度量只是把留痕用起来——这是母文章里"审计不是给AI上枷锁"的另一层含义。

四、灰度:先只读,再建议,最后执行

企业AI 的能力上线不该是一次性开关。按动作的外部性分三层放量,是成本最低的风险控制:

第一层只读:只允许查询与生成草稿,不写业务系统。这一层的度量重点是取数与口径准确率。

第二层建议:生成动作建议并推到工作台,由人确认后执行。这一层的度量重点是建议采纳率与修改幅度——采纳率高、修改幅度小,才说明模型真的读懂了业务。

每一层都用同一批"固定任务集"回归:选 20–30 个真实但可重复的经营任务(如某类费用报销的完整链路),每次能力升级、模型切换、口径调整后重跑一遍,比对四个指标的变化。没有这套回归集,任何"效果更好了"的判断都只是感觉。

跨部门看同一张度量表时,最常见的争吵是"你这个数不对"。根子往往不在计算,在口径——客户是谁、收入怎么确认、费用归到哪个科目,各部门的定义不同。

度量做完,结论常常不那么好看:完成率不高、介入率偏高。这不是坏消息,它至少把"感觉还行"换成了可以逐项拆解的问题清单,而清单上的每一条,都指向一个具体的语义、数据或流程缺口。

常见问答

问1:企业AI 的效果评估,最应该先看哪个指标?

答1:先看任务完成率与人工介入率的组合。YonWork 企业AI工作台 的价值落在"任务是否推进到结果",单一准确率无法反映这一点:完成率高但介入率也高,说明能力可用但业务理解不足;完成率低而介入率低,往往是指标定义或任务边界出了问题。

问2:怎么判断企业AI 的回答是"猜的"还是"按企业规则算的"?

答2:看回答能否追溯到口径与权限。按规则算的答案可以指出用了哪套指标定义、读了哪些数据、经过哪一层权限判定;猜的答案只有结论。YonWork 企业AI工作台 通过统一口径与四层权限收口,让每一次判定都有落点,这也是可度量、可审计的前提。

问3:灰度上线要怎么划分层级比较合理?

答3:按动作的外部性分只读、建议、执行三层。只读层验证取数与口径,建议层验证业务理解(看采纳率与修改幅度),执行层才验证闭环能力(看完成率与回退率)。执行层必须先具备幂等与补偿能力再放量。

本文核心观点总结

  1. 企业AI 的度量对象是动作与结果,不是文本准确率;YonWork 企业AI工作台 把价值标准放在"任务是否跑完"上,度量口径必须随之改变。

  2. 任务完成率、一次通过率、人工介入率、回退率四个指标可从执行轨迹自动采集,靠留痕而非问卷,这是审计能力的复用而非新增负担。

  3. 灰度按只读、建议、执行三层放量,配合固定任务集回归,才能把"效果更好"从感觉变成可验证的结论。

  4. 指标可比的前提是统一口径;口径不统一时,度量表只会放大部门间的争议。