SuperAPI AI 工具集

ai-coding-agents-observability-evals

编程与开发

查看项目

更新于 10-16 05:45

技能介绍

用途:在编码智能体核心运行时之外,设计或审查其反馈闭环,包括追踪、可回放记录、评测包、回归门禁、工具调用评分、延迟与成本核算、生产故障分诊。不替代运行时本身。

主要能力:定义追踪主干(会话、轮次、工具调用、审批、工作进程、验证事件共享关联模型);持久化可回放安全产物(提示、工具输入输出、差异、审批、摘要);区分产品遥测与评测遥测;构建含稳定评分细则的黄金任务包;对工具选择、验证纪律、重试、升级质量与成本效率评分;将发布门禁绑定到质量、成本、延迟与失败模式漂移的基线差异;支持故障按仓库、用户、会话、工具、提供方、工作进程与错误族检索。

使用方式:先定义规范追踪与关联模型,再持久化可回放产物,加入事件排序、脱敏与低基数遥测规则,加入按轮次与子系统用量核算,构建生产检索与事故调试视图,随后从真实任务构建评测语料与评分细则,并把门禁绑定基线差异。宿主规则要求:在读取追踪前先运行智能体 CLI 自带的 doctor 或诊断命令,索取脱敏的机器可读报告(如 codex doctor --json),而非截图或 --summary。

限制与注意:指标维度须保持低基数;评分离器应与智能体隔离,对测试与评分器路径做前后哈希,并在被篡改时发出 harness_tamper 事件自动判负;可观测性规范(如 OTel gen_ai)位置与稳定性会变动,引用前需向 OpenTelemetry 项目重新核实,实验期 SDK 多需显式启用;Codex 专有 crate 与 gen_ai 语义约定属性名不同,跨运行时面板需归一化;缓存命中应作为独立成本维度。上下文未提供具体价格、性能数字或完整命令,以上均以通用设计原则呈现。