SuperAPI AI 工具集

eval-author-inspect-trace

测试与质量

查看项目

更新于 10-17 10:28

技能介绍

用途:本子流程用于对单条 Intake trace 进行检查,解释其执行轨迹并保存有证据支撑的报告。只有在 eval-author 已选择本子流程后才应启动;如需仪器化、数据摄取或一般性 Intake 查询,应使用 nemo-intake。共享标准与边界需阅读 eval-author。

主要能力:解析并复用可用的 nemo CLI 调用;列出最近的候选 trace,或按 agent 名称及时间范围筛选包含其 span 的最近 trace;读取服务端计算的 trace 汇总(根状态、时长、token、成本、span 数、错误数、模型、提供商等)及所有 span 的摘要;按状态、类型或父 span ID 读取有界预览;在必要时读取精确 payload;收集评估器结果并仅保留属于所选 trace 的记录;按类别(behavior、issue、recovery、uncertainty)输出发现,并给出 success、failure 或 unknown 的结论;在 trace 证据指向可由源码解释的行为时,可检查本地源码并以仓库相对路径和符号引用。

使用方式:首先解析 CLI 调用(依次尝试 nemo、.venv/bin/nemo、uv run --no-sync nemo),使用显式 workspace,不安装 CLI、不认证、不切换上下文、不启动服务、不打印或保存凭据。接受裸 trace ID 或 intake://traces/TRACE_ID,拒绝其他 URI 方案;未指定 trace 时列出最近候选。随后读取 trace 汇总和 span 摘要,按需读取有界预览或精确 payload,并查询相关 session 的评估器结果。最后将报告保存为 .eval-author/traces/intake-TRACE_ID.md,包含 JSON 兼容的 YAML front matter(source 元数据与精确读取命令)、Outcome、Summary、Important moments、Findings 和可选的 Source evidence;报告保持未提交状态并说明路径。

适用场景:需要对单条 Intake trace 做证据驱动的复盘、判断任务是否完成、定位关键转折点,并结合评估器结果与有限源码解释行为时。

限制:检查范围限于一个显式 workspace 中的一条选定 trace;缺失 span、payload 或评估器证据可能导致结论为 unknown;单个错误 span 不证明失败;源码检查只能解释已记录事件,不能替代或覆盖 trace 证据;本流程不修复数据、不摄取数据。若 CLI 不可用、Intake 读取失败或返回的 span 属于其他 trace,应保留错误信息并停止或丢弃该 span。