给智能体装上车载记录仪:观测体系的四层工程实现
2026年11月20日

智能体出问题的方式和传统服务很不一样。传统服务的故障通常是明确的:接口 500、连接超时、内存溢出。智能体的"故障"往往悄无声息——返回 200,内容却是错的;流程跑完了,中间某一步跳过了校验;成本正常,但某类任务的单次消耗涨了三倍。

要抓住这类问题,观测系统得重新设计。以下是工程视角的四层拆解。

01 采集层:先把执行过程变成结构化数据

智能体的一次任务本质是一棵动态生成的调用树。根节点是用户请求,子节点是规划步骤,叶子节点是工具调用与模型推理。采集层要做的是把这棵树完整落下来:每个节点的类型、入参出参摘要、耗时、Token 消耗、错误码、父子关系。

难点在两点。一是采样策略:全量采集成本高,采样率太低又会漏掉偶发问题。合理做法是按任务类型分级——高价值任务全采,批量任务按比例采,同时保证错误请求 100% 保留。二是敏感信息处理:入参出参里可能带客户信息、金额、身份标识,采集时必须脱敏,否则观测系统自己就成了数据泄露口。

02 建模层:三个维度 + 一条下钻链路

数据落下来只是原料,要能用必须建模。三个维度最实用:追踪(单次请求的调用树)、会话(多轮交互的整体)、用户(使用量与成本的归属)。

关键设计是下钻链路要打通:部门 → 用户 → 会话 → 请求 → 节点。任何一层的数据都能点到下一层的明细。没有这条链路,运维拿到的是"某部门本周失败率 3.2%",还得自己捞日志;有了链路,从告警点进去三次点击就到现场。

另一个设计点是维度正交。追踪看"这一次怎么走的",会话看"这一串怎么演化的",用户看"这个岗位用得怎么样"。三者交叉分析才有价值:比如某用户会话成功率高但请求级错误率也高,说明他在反复重试;某会话前半段正常后半段跑偏,说明上下文在多轮中漂移。

03 评测层:把质量判断变成可执行规则

观测解决可见,评测解决可判。设计要点有三个。

第一是评测器的分工。代码评测器处理确定性判断:字段是否齐全、金额是否等于明细之和、格式是否符合模板——这类判断用规则最准也最便宜。大模型评测器处理开放式判断:总结是否切题、建议是否可执行、语气是否合规。混用两种评测器,能把成本压在合理区间。

第二是异步化。评测不该阻塞业务调用,应当作为独立任务跑在观测数据之上。按过滤条件圈选样本,按采样规则控制规模,异步判定后把评分回写关联到观测记录。

第三是可复验。评测标准会调整,配置会优化。同一批观测数据在调整前后各评一次,分数变化就是改进效果的证据。这一点决定了"优化"是真优化还是换个说法重来。

04 告警与现场:从指标异常到可排查

告警的价值取决于它带不带现场。只报"失败率超标"没用,要带三样东西:出问题的调用树链接、相关的近期变更记录、同类问题的历史处置方式。

阈值设计也要分层:静态阈值适合稳定指标(如鉴权失败率),动态基线适合波动指标(如日均调用量)。混用单一阈值的结果是告警疲劳——要么天天响没人看,要么设得太松漏掉真问题。

05 成本与存储:观测系统自身也要算账

观测数据是典型的"写得快、长得快"。一次任务几十个节点,每个节点带入参出参摘要,一天十万次调用,很快就到 TB 级。如果不做分级,观测系统自己会变成成本中心。

可行的策略是三级存储:热数据(近 7 天)保留完整调用树,支持逐节点下钻;温数据(7 到 90 天)保留节点摘要与关键字段,支持会话级追溯;冷数据(90 天以上)只保留统计聚合与错误样本,用于趋势分析。查询接口按层级自动路由,用户无感知,成本可控。

四层做完,智能体才真正进入可运维状态。这套体系不是某个团队顺手加的功能,而是规模化之前必须准备好的基础设施:没有它,每增加一个智能体,运维负担就线性增加;有了它,规模增长与运维成本才能脱钩。