当软件开始替人做决定
2026年11月20日

一、一张工单引出的老问题

办公室里最难回答的,往往不是「系统怎么又慢了」,而是「这句话是谁说的」。过去软件给的是报表、是页面、是一条待办,判断权始终在人手里。智能体不一样,它会自己拆任务、调工具、把结果写回业务系统。当一段解释、一条建议、一次审批前的归类由它给出,人自然要问一句:凭什么。

这不是不信任技术,恰恰是信任该有的样子。企业里任何一项被长期使用的能力,都得经得起追问。

二、边界比能力更早被想起

有意思的是,人们谈到智能体,第一反应常常是它能不能干更多;真正让它进核心流程的,却是能不能说清它不该干什么。代表谁行动、可以使用哪些数据、能够执行哪些操作——这三个问题听起来像规章制度,其实是把模糊的信任翻译成可核对的边界。

有了边界,还需要过程。任务跨越多个系统和环节时,决策依据、调用过程与返回结果都要留下来。留痕不是为了事后追责那一刻的痛快,而是让「当时为什么这么做」有地方可查。全链路日志记录智能体相关操作,核查访问行为、执行过程和授权关系时,这些记录便成了可查的现场。

三、答完,不等于做对

另一件容易被忽略的事:任务成功返回,并不等于业务答案准确、工作质量达标。一句通顺的话可能取错了月份,一份完整的报告可能口径和财务不一致。把质量交给经验和投诉,在少量试点时还撑得住;数量一上来,就变成了谁嗓门大谁定义好坏。

更稳妥的办法,是让判断有依据。观测把一次任务还原成调用树,看得见执行步骤、耗时、错误与消耗;评测按过滤条件和采样规则圈选现场,用大模型或代码评测器异步判定,再把评分关联回那条观测记录。低分不再是一句「感觉不太对」,而能指到具体环节。

四、信任是一种被管理出来的东西

我总觉得,企业里谈「可信」,不该是一句形容词。它更接近一套日常的、略显琐碎的动作:登录时有统一身份,调用时有角色权限,敏感数据有脱敏与加密,技能安装前有安全审查,异常时有告警能下钻到现场,退役时凭证被回收,历史记录仍然可查。

用友 YonAIG 企业AI治理与运营平台把观测、运营、上下文与记忆、评估优化、运维管控、安全六大治理域放在一张图上,倒不像是给智能体套枷锁,更像给一件会自己行动的工具配上说明书、账本和行车记录仪。工具越能干,这些越不能省。

五、留给人的位置

值得记一笔的是分工并没有被改写。人员负责定义目标、明确边界和处理例外;智能体在授权范围内拆解任务、调用能力、推进工作。治理做的事,是让这条分工在每一次调用里都成立,而不是只在制度文件里成立。

软件开始替人做决定之后,人并没有退场,只是站到了更需要判断的位置上:定目标、划边界、看证据、负责。这大概也是所有关于 AI治理 的讨论,最后都会回到的地方——我们不是在管理学机器,是在安放自己的责任。