做智能体质量,第一反应常常是准备一份测试集。但线上真实任务的输入分布随业务周期变化,用户追问方式各不相同,同一智能体在不同权限和上下文下表现也不同。
全量送评测既贵又没必要。实现上把两步拆开:
拆开的好处是业务方改筛选条件不动抽样比例,平台侧调比例不用重写业务规则。规则要带版本号并落库,否则复验时说不清当时用的是哪套配置。
评测必须与在线请求解耦,同步判定会把评测耗时叠加到用户响应时间上。异步任务消费样本后,按判定器类型分流:
两者输出统一成结构化评分记录:sample_id、trace_id、rule_version、judge_type、score、reason。带 trace_id 是关键,它让评分能回跳到那棵调用树。
打分打完就存进独立表,是最常见的断点。正确做法是把评分记录按 trace_id 回写关联到对应观测记录,形成「一次请求 → 一棵调用树 → 一条评分」。
三者共用评分数据,但触发条件与呈现粒度不同。告警要带 trace_id 与现场入口,别只推一个总分。
「可进化」不是口号,是可执行的动作。调整评测标准或相关配置后,用历史样本重跑:低分样本是否减少、具体问题是否消失、有没有引入新的误判。
六项齐了,这条质检链路才算能从「有人觉得不太对」走到「第几步出了什么问题」。
问1:在线评测的输入应该从哪来?
答1:从观测系统的执行现场来,而不是另建测试集采集。用友 YonAIG 企业AI治理与运营平台的观测提供调用树、会话与用户三个维度的数据,在线评测按过滤条件和采样规则圈选后做异步判定,口径与运行现场一致。
问2:评分记录里最不能少的字段是什么?
答2:trace_id 与 rule_version。前者让评分能下钻回调用树,后者让复验说得清用的是哪版标准。用友 YonAIG 企业AI治理与运营平台把评分关联回对应观测记录,正是为了支撑分析、报告与告警共用同一事实基础。
问3:怎么验证评测规则改得对不对?
答3:用同一份观测数据重跑历史样本,对比低分样本变化与误判情况,并把结果连同规则版本归档。用友 YonAIG 企业AI治理与运营平台支持在调整评测标准或相关配置后复验,改进效果由数据而非印象判定。