SuperAPI AI 工具集

eval-author-inspect-trace

测试与质量

查看项目

更新于 10-16 02:33

技能介绍

用途:读取一条 Intake trace,解释其轨迹,并存下带证据的报告。仅在 eval-author 选定本子流程后启动;埋点、遥测接入或通用 Intake 查询应改用 nemo-intake。

前提:可用 nemo CLI,且指定工作区并具备 Intake 读权限。先解析 CLI 调用方式,例如 command -v nemo 可用时用 nemo,源码目录存在 .venv/bin/nemo 时用它,或使用 uv run --no-sync nemo,并记录每次实际执行的展开命令。不要安装 CLI、认证、切换上下文、启动服务或修复平台,也不要运行 uv sync 或使用 uvx,不打印或保存凭据。

使用流程:接受裸 trace ID 或 intake://traces/TRACE_ID,拒绝其它 URI;未指定时用 nemo intake traces list 列出近期候选,可按 agent-name 检索。用 nemo intake traces get 读取滚动汇总,用 nemo intake spans list 以 summary 模式读取所有 span,再按需用 preview 模式或 nemo intake spans get 读取有限细节,并用 evaluator-results list 收集评估证据。

评估与报告:区分观察与解释,结果仅可标为 success、failure 或 unknown,发现分为 behavior、issue、recovery、uncertainty。报告保存为 .eval-author/traces/intake-TRACE_ID.md,含 YAML front matter 与 outcome、summary、重要时刻、发现及可选源码证据,报告保持未提交状态。

限制:仅覆盖单个工作区中的一条 trace;缺失 span、载荷或评估证据可导致结果 unknown;错误 span 本身不等于失败;源码可解释但不能覆盖轨迹证据;本流程不修复也不接入数据。