摘要:大模型和企业里跑起来的智能体(Agent)越来越多,但不少团队还在用老一套监控——盯服务、盯主机、盯接口。问题是,Agent 自己怎么想的、调了哪些工具、哪一步跑偏了,老监控根本看不见。这篇文章想解决的就是这件事:怎么把 Agent 从"黑盒"变成能看清、能追因、能管住的系统。我会给一套分层能力模型(L0–L3 加一条网络旁路),再配一条分阶段(0–4)的实施路线。
一、为什么 Agent 可观测成为刚需
大语言模型与自主智能体进入生产后,传统 APM 的"一次请求一条 trace"模型难以覆盖 Agent 的内部循环,盲区集中在:
- 过程黑盒:Agent 的"规划 → 调用工具 → 反思 → 再行动"多步链路在多数监控工具中不可见。一次异常往往说不清卡在哪一步、哪个工具返回了脏数据、哪次反思导致偏离目标。
- 成本失控:Token 消耗与调用频次难以量化,缺少按模型、按调用、按会话的成本基线,预算易在无人察觉中超支;缓存命中与否会显著改变成本结构。
- 定位困难:一次失败可能同时跨越 LLM 调用、外部工具执行、业务应用三层,根因分散、排查链路长,传统 APM 难以覆盖 Agent 的内部循环。
- Shadow AI 风险:员工在受控环境外私自接入外部 AI 或智能体,造成数据外泄与合规失控,而这类调用在应用层监控里往往隐形。
- 责任界定困难:当智能体自动执行了一次错误操作,若没有执行链路记录,难以追溯是模型幻觉、工具返回异常还是编排逻辑缺陷,故障复盘与合规举证都无从谈起。
一个典型场景:客服 Agent 突然开始答非所问。若只有模型调用级监控,你只能看到"某次调用延迟高、某次错误率高",却看不到它先调用了检索工具拿到过期知识、再调用计算工具得到错误数值、最后在反思环节选择了错误路径。这正是"Agent 可观测怎么落地""智能体链路追踪方案"成为高频搜索意图的原因——角色需要的是可操作的落地路径,而非概念包装。
二、概念厘清:LLM 可观测 ≠ Agent 可观测
很多人把"LLM 可观测"和"Agent 可观测"当一回事,但两者层级不同,搞混了会导致选型与建设方向错误。
- 先说调用级,这一层已经比较成熟。它看的是每一次 LLM API 调用的延迟、Token、成本、错误率,连输入输出都记下来。标准也齐了,OpenTelemetry 那套遥测直接能接。一个 Agent 跑一次可能触发十几次模型调用,调用级能把这十几次全记下来,回答的是"这次调用花了多少、对不对"。
- 再说执行链路级,这一层还比较稀缺。它看的是 Agent 内部怎么干活的——规划、调工具、多步反思、多个智能体怎么交接。回答的是"它为什么这么干、哪步错了、这个工具调用是不是多余"。它看的不是单次调用,而是调用之上的编排逻辑。
用一个例子说明差异:用户让客服 Agent"帮我查一下昨天订单为什么没发货"。调用级可观测能看到两次模型调用(一次规划、一次生成答复)的延迟与 Token;执行链路级则能看到完整的 agent run——规划 → 调用订单查询工具(接口超时)→ 调用日志检索工具(改用缓存数据)→ 反思后生成答复,并标注"订单接口超时"才是根因。没有后者,你只能看到"调用正常但答复有误",无从下手。
区别说到底就是粒度:前者到"调用"(trace 下的单次 span,一次 HTTP 到模型),后者到"步骤 / 工具 / 反思"(agent run 这一更高层级的 span,内部再嵌套工具调用、子任务、反思等子 span)。需警惕的是,部分营销话术把前者包装为后者——标题打着"for AI Agents",正文却只列模型与调用指标。读者应按指标清单核验真实能力。
三、Agent 可观测的能力分层(L0–L3 + 旁路)
讲清概念。为便于选型与建设,我们把 Agent 可观测所需能力抽象为一个分层模型:
- L0 基础可观测。指标、日志、追踪这三样,加上动态基线、异常检测、告警降噪、根因分析(RCA)。传统 APM、ITOM 工具都有,是往上叠一切的地基。
- L1 模型 / API 调用级。延迟分位(P50/P90/P99)、Token(区分缓存读取和新建、按模型拆)、成本、错误率,每次调用的 prompt/response 都能追、能查,多模型多厂商同屏看,OTel 遥测接入。
- L2 应用 / 服务链路级。分布式追踪加因果关联,最好还能靠 Agentic 能力做自修复运维。核心是把 LLM 调用放回业务请求的全链路里,弄明白"哪次业务请求带出了哪些模型调用和工具动作"。
- L3 智能体执行链路级(稀缺)。agent run tracing、工具 / 步骤 span、多智能体编排遥测、Eval 和幻觉评估、RAG 检索链路追踪,以及 LangChain / LlamaIndex / AutoGen 这些框架的埋点。这层通用可观测平台基本都缺,得靠专门的 LLMOps 工具补。
- 旁路(NTA)。在网络层认出 Shadow AI 和未授权 Agent 流量,把 AI Agent 流量、普通 API 调用、东西向通信分开,给应用层之外多一份证据。
现状是大多数平台停在 L0–L1,能补 L2,L3 普遍没有;旁路相对独立,应用层看不见的时候它能从网络侧补上证据。把这几层认清楚,才不容易买错或建错。
实操中可用一条快速判据:若平台只提供延迟、Token、成本、错误率类看板,则至多到 L1;只有当它给出 agent run 视图、工具/步骤 span、多智能体编排与 Eval 时,才算触及 L3。选型评审时建议把这条判据做成核对清单,逐条打勾。

四、落地路径:分阶段、可操作
分阶段说,从 0 到 4。
阶段 0 · 明确目标与边界
想清楚到底要观测模型调用、应用链路还是智能体执行;合规红线列出来——哪些数据不能外传、不能出境,哪些提示词和响应带敏感信息;还要确认要不要覆盖第三方或自建的 Agent。
具体做法:组织运维、安全、研发一起开个会,产出两份东西,一份观测范围清单,一份合规约束文档。
注意:边界先定好,后面在 L3 埋点上返工的概率小很多。
阶段 1 · 接入 OTel 建立模型调用级基线
具体做法:在 LLM 应用侧用 OpenTelemetry 推遥测,按模型建 Token 和成本基线,延迟看板把 P50/P90/P99 拉出来。动作上,在推理封装层统一注入 OTel instrumentation,按 model、service、prompt 打标,缓存命中单独计量。产出的就是一张 LLM 调用看板(延迟 / Token / 成本 / 错误率)。
注意:成本如果是按定价估算出来的而不是真实账单,看板上一定标"估算",别拿估算当结算。
阶段 2 · 统一三支柱 + 关联降噪
具体做法:LLM 调用、应用分布式追踪、结构化日志三者接起来,告警做因果关联和收敛——比如 50 条相关告警收成 1 条根因事件。用统一 traceID 把三层信号串起来,动态基线换掉静态阈值,设个告警收敛窗口。产出统一面板、收敛规则、根因定位流程。
注意:降噪不做好的话,LLM 的高频错误会把真正根因淹掉。
阶段 3 · 补齐智能体链路追踪
具体做法:在 LangChain / LlamaIndex / AutoGen 这类框架埋点,采 agent run 和工具 / 步骤 span,上 Eval 和幻觉评估、RAG 检索链路追踪。接专门的 LLMOps / 追踪工具,或者用框架原生回调;每次 agent run 把规划、工具输入输出、反思都记下来,建个 Eval 数据集定期打分。产出执行链路视图加 Eval 报告。
注意:这层投入大、回报也大,建议先小范围试点再铺开。
阶段 4 · 治理 Shadow AI
具体做法:在网络流量侧认出未授权 AI 调用和数据外传,建 AI 工具白名单加告警。对出向流量做 AI 服务域名和协议识别,异常的东西向通信标出来,白名单外的调用就告警。产出 Shadow AI 告警和外传阻断策略。
注意:网络侧只能"发现"、不能"解读",得和 L2/L3 联动才闭环。
这四个阶段不用死板的串行。L0/L1 一般可以并行启动,而且应该优先。L3 投入大,等前面基线稳了、告警噪声压住了再重点投,别一上来就被海量链路数据淹了。
五、工具组合视角
没有单一工具能覆盖 L0–L3,实践中通常以"全栈 APM / 可观测平台 + 统一 SIEM + 网络流量分析(NTA)"的组合来满足:全栈可观测平台覆盖 L0–L2 与大部分 L1;SIEM 覆盖安全侧 UEBA 与合规审计;NTA 以旁路方式补齐 Shadow AI 识别。专用 LLMOps 工具则常用来补 L3 的 agent run tracing 与 Eval。
另一条路径是自研:在 OpenTelemetry 之上自行定义 agent run 的 span 规范与属性约定(如 gen_ai.agent.name、gen_ai.operation.name=invoke_agent),复用既有可观测后端,规避厂商格式锁定。
LLMOps 工具生态对照(仅作能力参照):
| 工具 | 定位 | 开源 / 自托管 | 适用侧重 |
|---|---|---|---|
| LangSmith | LangChain 原生配套 | 否(企业版可自托管) | 深度绑定 LangChain / LangGraph 的调试 |
| Langfuse | 开源工程化首选 | 是(MIT,可完全本地部署) | 数据驻留敏感、需私有化部署的团队 |
| Arize Phoenix | OTel 原生开源 | 是(Apache 2.0) | RAG 检索可视化、多智能体评估 |
| Helicone | HTTP 代理层 | 部分 | 分钟级接入、纯 LLM API 成本 / 延迟计量 |
拿 ManageEngine 举例子(纯粹做能力映射,不是推荐),从全栈 AIOps、APM / 云可观测、统一 SIEM 到网络流量分析都有,分别对应 L1、L0 / L2、安全侧 UEBA 与旁路 Shadow AI 识别。
需要强调:上述仅说明"能力分层如何映射到真实模块",不构成选型建议。读者应依据自身技术栈、既有平台与合规要求组合工具,优先补齐自己最稀缺的那一层。对多数团队而言,先把 L1 看板与告警降噪跑通,性价比最高;L3 可在出现具体 Agent 故障后再针对性补齐。
六、常见误区与避坑
踩过的坑列一下,省得重蹈。
- 把模型级 LLM 可观测误当 Agent 可观测:标题打"for AI Agents"却只给模型 / 调用指标,存在话术落差;选型时务必拉出指标清单逐条核对。
- 忽视智能体执行链路:多步推理、工具调用、反思链路是最大缺口;缺 agent run tracing 与工具 span,就无法真正排查 Agent 问题,只能看到"调用慢了"而非"哪步错了"。
- 成本口径不透明:成本若为派生估算而非实际账单,引用时需明确标注,避免据此做错误的预算决策。
- 只观测自家智能体、忽略企业自建 / 第三方 Agent:多数平台仅能审计自家智能体,无法观测企业自建或第三方框架的 Agent;后者往往才是生产风险的主要来源。
- 遗漏网络侧 Shadow AI 风险:应用层看不到的未授权 AI 调用,往往只能从网络流量侧发现;安全与运维视角必须打通。
- 把"可观测"等同于"可干预":可观测只解决"看见",不解决"拦住"。应在 L1 / L3 之上叠加护栏(guardrails)——预算阈值、速率限制、敏感词拦截、越权操作阻断,否则看见成本失控或越权行为却无力即时干预。
常见问题(FAQ)
Q1:Agent 可观测和 LLM 可观测有什么区别?
A:LLM 可观测记录每次模型调用的延迟、Token、成本、对错;Agent 可观测在其之上记录一次智能体运行内部的步骤、工具调用、反思与多智能体协作,回答"为什么这么做、哪步出错"。前者成熟,后者稀缺。
Q2:OpenTelemetry 能做 Agent 可观测吗?
A:可以。OpenTelemetry 的 GenAI Semantic Conventions(2025–2026 定稿)已定义 LLM / 工具 / Agent span 的标准属性(如 gen_ai.request.model、gen_ai.operation.name=invoke_agent),主流框架均兼容;L3 的 agent run tracing 可在 OTel 之上自定义 span 规范实现,避免厂商格式锁定。
Q3:中小团队该先投哪一层?
A:优先把 L1(模型调用级看板)与告警降噪跑通,性价比最高;L3 在有具体 Agent 故障后再针对性补齐。L0/L1 可并行启动。
Q4:什么是 Shadow AI,怎么治理?
A:Shadow AI 指员工在受控环境外私自接入外部 AI / 智能体导致的数据外泄与合规失控。应用层监控往往隐形,需在网络流量侧(NTA)识别未授权 AI 调用与异常东西向通信,建立白名单与告警,并与 L2/L3 联动闭环。
Q5:Agent 可观测要花多少钱?
A:L1 主要成本是存储与少量平台费用,LLM 调用本身的账单远大于 trace 存储;建议对全量 prompt/response 抽样 1%–10%、对命中护栏或投诉的请求全量留存,以控制存储成本。成本看板若来自定价派生估算须标注"估算"。
Q6:Eval 是什么,为什么重要?
A:Eval 是对 Agent 输出质量的持续评估(忠实度、依据度、相关性、任务完成度),可用 Ragas、DeepEval 或 LLM-as-Judge。它应作为长期机制而非一次性项目,只有持续打分与链路回归,才能控制幻觉、越权与成本三类风险。
结语
Agent 可观测不是一锤子买卖,是慢慢补齐的过程。先把 L1 夯实(模型调用级),再用框架埋点补 L3(执行链路),组合 APM + SIEM + NTA,并把 Eval 与链路追踪作为长期投入。
动手前先做一轮自评:拿前面的 L0–L3 快速判据盘一盘现有平台覆盖到哪,找出最缺的那层先投,再按四个阶段一步步补。Eval 千万别当成一次性项目——持续给 Agent 输出打分、给链路做回归,生产环境里那三类风险(幻觉、越权、成本)才压得住。分层想清楚了,落地才不会被各家的营销话术带偏。
315



被折叠的 条评论
为什么被折叠?



