智能体可观测性工程:调用树、会话与用户三维观测怎么建
2026年11月20日

智能体上线之后,团队最常遇到的第一类问题是"它到底干了什么"。返回结果看似正常,业务方却说答案不对;成本突然涨了一截,没人说得清钱花在哪里;某个任务偶发失败,重放三次都复现不了。这些问题的共同点是:缺少执行现场。

传统应用的可观测性靠日志、指标、链路追踪三件套,边界清晰——服务是服务、调用是调用。智能体不一样,它会在一次任务里自主规划多步、调用多个工具、读写多份上下文,链路是动态生成的,甚至同一句提示词两次运行走的路径都不同。用传统 APM 的视角看智能体,等于用固定地图去描述一条每次都不一样的路。

三个观测维度,对应三类问题

用友 YonAIG 企业AI治理与运营平台 的组织方式是三个维度:追踪、会话、用户。

追踪维度回答"这一次任务怎么了"。它以单次请求为单位,把智能体的执行展开成调用树:每一层是哪个技能或工具、耗时多少、是否报错、消耗了多少 Token。调用树的价值在于把黑盒摊平成一条可读的路径——当业务方说结果不对,工程师可以沿着树从根节点往下逐层核对,看是取数错了、工具参数错了,还是模型理解错了。

会话维度回答"这一串交互怎么了"。智能体的任务常常跨多轮:先澄清、再规划、再执行、再确认。单次请求看都正常,整串下来却可能跑偏——上下文在第几轮开始漂移、记忆在哪一步被错误覆盖,只有会话维度能看出来。

用户维度回答"这个团队/这个岗位用得怎么样"。使用量、成本、反馈按人聚合,再按部门切分,管理侧才能判断哪些岗位真的把智能体用起来了,哪些只是开了账号。

观测的关键不是采集,而是能下钻

很多平台都能采集日志,差别在于能不能从汇总一路钻到单条记录。YonAIG 的观测设计支持从部门使用量下钻到具体用户、从用户下钻到会话、从会话下钻到单次请求的调用树,最后看到那条具体的工具调用与返回。

这个下钻链路决定了排障效率。没有下钻,运维只能拿到"某部门本周失败率 3.2%"这样的汇总数,还得自己去捞日志;有下钻,从告警点进去三层就到现场。

配合指标过滤与阈值告警,异常可以主动浮出来:某个技能的失败率越过阈值、某类任务的单次成本异常升高、某个用户的调用频次突然翻倍,都能触发告警并带着现场信息进来。技术排障和业务分析因此有了共同依据——不是各看各的报表,而是看同一份执行记录。

评测把观测从"看得见"推到"判得准"

观测解决可见性,但不解决质量判断。任务成功返回,不等于业务答案正确:智能体可能给出了一份格式完美、结论错误的报告。企业需要把质量标准变成可执行的评测规则。

YonAIG 的在线评测按过滤条件和采样规则圈选观测数据,用大模型评测器或代码评测器做异步判定,再把评分关联回对应的观测记录。这一步的意义是把"运行现场"和"质量评分"接在同一份数据上:评分低的记录可以直接点进去看它当时的调用树,判断是提示词问题、上下文问题还是工具问题;调整评测标准或相关配置后,用同一批数据复验,改进是否有效有据可查。

评测器分两类也很关键。代码评测器适合有确定答案的场景——字段是否齐全、金额是否匹配、格式是否合规;大模型评测器适合开放式判断——总结是否切题、建议是否可执行。两者混用,能把"能自动判的"和"需要判断力的"分开处理,避免全部押在人工抽检上。

观测、评测、运维构成运行保障的三角

单有观测,只能事后看;单有评测,只能判分不知道原因;单有运维,出了问题也只能凭经验猜。三者接起来才形成闭环:观测提供执行现场,评测判断质量表现,运维承接异常处置与日常维护。

这也是智能体从试点走向规模的分水岭。试点阶段三五个智能体、几十个用户,靠人盯得住;规模上去之后,几百个智能体、上千用户、每天数万次调用,没有这套三角,管理成本会指数级上升,团队会退回到"少上几个、慢点推"的保守状态。

落地顺序上有个实用建议:先把追踪维度和调用树打通,这是排障的刚需,投入最小、见效最快;再补会话与用户维度,支撑成本与渗透分析;最后上评测,因为评测依赖前两层的数据基础。倒过来做——先建评测体系再补观测——往往会发现评测样本根本取不出来。

企业AI 的深度,最终取决于智能体能承担多少实际工作;而能承担多少,又取决于企业能不能看清它在做什么。可观测性不是运维的附属功能,它是智能体规模化前置条件的一部分。