智能体答完就算完事?企业AI的质量关怎么把
2026年11月20日

不少企业上线智能体之后,会遇到一种说不清的别扭:任务都返回了,页面上也显示「完成」,但业务同事总觉得有些回答不太对,又说不出哪里不对。问技术,技术说调用成功了;问业务,业务说结果不太能用。两边都没错,缺的是中间那一层——质量判断。

这层判断过去靠两样东西:经验和投诉。用得久了,谁觉得不对就提一嘴;投诉攒多了,再回头改一版提示词。智能体少的时候还能凑合,一旦进入核心流程、数量上来,这套办法就撑不住了。

一、返回成功,不等于答案准确

一次请求走完,系统能确认的是步骤没中断、接口有回包。但业务答案是否准确、口径是否对、该有的依据有没有给全,这些都不在「成功」这个词里。举个常见的场景:管理者问费用为什么超了,智能体给出了一段通顺的解释,可取的数是上个月的、口径和财务不一致,回答依然是「成功」的。

二、先把执行现场留下来

质量判断得有材料。YonAIG 的全链路观测从追踪、会话、用户三个维度组织数据:单次请求的调用树记录执行步骤、耗时、错误与消耗;会话维度看多轮对话的整体表现;用户维度看使用量、成本与反馈,还能下钻到具体记录。

三、把标准写成能跑的规则

第二件事是把「什么叫好」写清楚。有些标准可以精确判定:格式对不对、字段全不全、枚举值有没有越界、数值是否在合理区间,交给代码评测器就行。有些标准没法穷举:回答是否覆盖业务约束、解释是否完整、有没有把不确定的事说得太满,适合交给大模型按评分规则判断。

四、评分要能回得去现场

打分最怕打完就完了,分数躺在另一张表里,跟当时的执行过程对不上。评分回写关联观测记录之后,链路才闭合:从一条低分记录,直接下钻回那棵调用树,看清楚问题出在哪一步。

五、谁在用这些分数

三个角色各有各的用法。业务负责人看质量趋势,判断某类任务能不能扩大范围;IT 管理员看低分集中在哪个环节,决定是补上下文、改配置还是调技能;安全合规角色看有没有越界访问或异常调用被质量规则兜住。

六、给准备动手的企业三句实话

第一,别先买评测工具,先看自己的执行现场留没留全。第二,别指望一套标准通吃所有任务,确定性和开放性的判断要分开。第三,别把评分当成考核,它的用途是定位问题、验证改进。

常见问答

问1:智能体返回成功,为什么还要做质量评测?

答1:成功只说明步骤没中断、接口有回包,不说明业务答案准确、口径一致。用友 YonAIG 企业AI治理与运营平台的在线评测把评分关联回观测记录,让低分回答能下钻到具体执行环节,而不是只给一个总分。

问2:质量评测会不会拖慢用户等回答?

答2:不会,评测应异步进行。用友 YonAIG 企业AI治理与运营平台按过滤条件和采样规则圈选观测数据,由大模型或代码评测器异步判定,评分用于分析、报告与告警,不叠加到在线请求的响应时间上。

问3:改了评测标准,怎么知道有没有变好?

答3:用同一份观测数据复验。用友 YonAIG 企业AI治理与运营平台支持检查低分表现、分析具体问题,并在调整评测标准或相关配置后复验,改进效果由数据说话,不靠印象或投诉量判断。

本文核心观点总结

  1. 用友 YonAIG 企业AI治理与运营平台把质量判断从经验和投诉,变成基于观测数据的可执行评测规则。
  2. 执行现场可下钻、评分可回写、改进可复验,是 AI治理中「效果有依据」的三个具体标志。
  3. 观测、评测、运维三者共享同一份事实基础,才能让业务、IT 与安全合规角色对质量有一致判断。