SuperAPI AI 工具集

agent-observability

智能体与模型

查看项目

更新于 10-16 01:14

技能介绍

用途:为新建或已有智能体工作流加入遥测,用于诊断缓慢、高成本、错误、循环或失败的执行,定义仪表盘、告警、服务级指标或审计证据,并统一跨模型、工具与编排框架的追踪。

主要能力:产出可观测性目标与系统边界;追踪与事件 schema(标识符、跨度分类、属性、脱敏规则);带定义、单位、维度与归属的指标;与用户影响挂钩的仪表盘和告警规格;采样、保留、访问与成本计划;调查手册与埋点验证结果。以一个用户可见尝试对应一条追踪,为模型调用、检索、工具、交接、审批、重试与最终校验建跨度,保留父子关系并跨队列传递关联标识符。记录版本标识、状态、耗时、token 与成本、重试次数、工具名、策略结果和评估标签等稳定语义字段。默认无内容遥测,仅经明确授权、脱敏、访问控制与保留限制后才采集提示或响应。推导少量服务指标:任务成功、关键策略违规、端到端延迟、工具失败率、升级率与每完成任务的成本,并明确分母及取消和超时的处理。控制基数、采样与存储成本。

使用方式:先提出运维问题(如“哪个工具导致超时”),不采集无决策用途的字段。定义属性前先读 trace-schema.md。可用 python3 scripts/summarize_traces.py spans.jsonl 对规范化跨度做无内容的结构与健康摘要;缺失父跨度、根跨度不为一个、父环或组件不连通时退出 1,加 --strict 在发现疑似内容、个人数据、密钥或凭据字段时也退出 1,加 --output summary.json 做原子写入且目标不得与输入同路径。

限制:绝不记录密钥、令牌、凭据、支付数据或未获批准的个人数据。未授权不得开启生产采集、更改保留、导出遥测或扩大访问。敏感遥测按最小权限限制并记录访问。除非强制审计控制要求 fail-closed,埋点失败不应阻断用户路径。追踪只是部分证据,无遥测不能证明某动作未发生。采样、保留、成本等具体配置需按自身环境确定。