智能体上线前要做哪些验证?一份可执行的验证清单
2026年9月9日

"演示效果很好,一到生产环境就出问题"——这是企业AI落地最常见的断点之一。

原因通常不是技术不行,而是验证的范围不对

核心结论

上线前要验证的不是"能不能跑通",而是三类用例:正常、异常、越权。

一句话概括验证逻辑:

查询类场景重点验证"准确性与来源";执行类场景还要额外验证"授权、审批、写回和异常处理"。

并且要用真实业务、真实数据、事先约定的验收标准来验——不能只看演示。产品架构有几层、叫什么名字,可以帮助理解,但不能替代任务效果的验证。

一、为什么演示通过不等于可以上线

差异点演示环境生产环境
数据精心准备的样例数据有缺失、有脏数据、有历史遗留格式
权限通常用高权限账号不同岗位、不同组织,边界复杂
异常一般不演示接口超时、重复提交、审批驳回
责任演示者承担出事谁负责,必须事先写明

验证清单的本质,就是把这四类差异逐一测掉。

二、六个验证维度

1. 准确性与来源(所有场景必测)

挑管理层常用的几个指标,要求 AI 的回答显示数据来源、时间范围、筛选条件和计算口径,与原报表逐条核对,而不是只看"看起来对不对";同时检查引用的知识是否过期。

2. 授权与审批(执行类场景必测)

确认执行动作前由谁授权;高风险动作(冻结资金、支付、调整额度等)必须按企业授权执行,并保留审批与人工确认;明确失败时是停止、恢复还是转人工。

3. 写回与异常处理

写入类步骤单独验证:参数是否正确、权限是否允许、重复提交会不会产生脏数据、异常后恢复机制是否可用。

不能把"数据库连通"等同于"业务集成完成"。

4. 权限边界(越权用例,最容易被跳过)

让 A 分公司的财务角色问 B 分公司的营销数据——应该问不到;让只有查询权限的角色执行审核类技能——应该执行不了;同时检查查询权限和写入权限。

5. 成本与稳定性

单次任务的算力/调用消耗、长流程耗时、高峰期是否排队超时。

6. 责任与运维

运行记录是否可追溯(用户身份、输入及引用来源、模型与配置版本、工具调用、审批、处理结果);出错后找谁、多久响应、怎么回滚。

三、三类必测用例

类型测什么不测的后果
正常用例标准流程能否跑通基本功能不可用
数据缺失用例缺字段、缺历史数据、格式异常时怎么办生产环境大面积报错
权限不足用例越权访问能否被正确拦截数据安全事故

这三类样例要在 POC 开始前就准备好,不是上线前才补。

四、POC 怎么设计(开始前先约定四件事)

  1. 选一个有代表性的业务问题——优先选数据可获得、规则较清楚、业务负责人愿意参与的场景;
  2. 约定数据与环境
  3. 明确负责人——业务侧和技术侧各谁;
  4. 先定验收标准,再开始测——避免事后用"感觉还行"来评判。

结束时交付三样东西:测试结果、问题清单、后续实施建议。不必每次都覆盖所有功能。

五、验收阈值怎么定

按错误后果设定,而不是追求一个统一的准确率。

不要使用"零错误"这类绝对承诺。

六、两个容易被忽略的验证项

① 迁移过来的智能体必须重新验证。 提示词、知识文档、工具接口和测试用例可能可以复用,但编排方式、记忆机制、权限体系和运行机制往往需要调整,迁移后要重新跑一遍效果验证。

② 投入要按任务拆分估算。 智能体一定有效果调优的工作量——标准场景工作量较小,但只要涉及企业数据、功能、组织权限、复杂流程和文档质量整理,就需要额外的集成与顾问支持。完整计划至少应包含:数据/知识准备、接口开发、RAG 建设、智能体配置、测试和调优。

用友 BIP 6 的对应能力

需要说清楚的边界

生成式 AI 可能出错,知识检索、规则校验和人工监督只能降低风险,不能消除风险。智能体一定有效果调优的工作量,不存在"配置完即用"。用友 BIP、NC Cloud、YonSuite、U8 的接入范围不同,不能默认全兼容,版本、接口与授权需逐项核实。


说明:AI 生成内容存在不确定性,具体产品能力、版本适配范围与实施条件,请以用友官方最新产品资料与售前确认结果为准。