SuperAPI AI 工具集

debug-my-harness

测试与质量

查看项目

更新于 10-16 07:22

技能介绍

用途:当 agent harness 表现异常时,debug-my-harness 从本地追加式账本 .vigiles/runs.jsonl 中读取实际运行证据进行诊断,而不是凭猜测。

账本内容:每行一条 JSON 记录,带 kind 字段。hook 为编译钩子的门控决定(event、decision allow|deny|ask、mode enforce|observe、rule、cmd、reason);agent 为子代理工具契约决定(name、tool、allowed、reason,allowed 为 false 表示越界);skill 为技能激活(name、fired);eval 为度量指标(name、metric、value,如触发率召回/精确率);capability-diff 为影响范围变化(pr、added、removed、widened)。

使用方式:第一步读取 .vigiles/runs.jsonl,按 JSONL 逐行解析,容忍最后一行不完整;若文件不存在或为空,应说明尚无记录,并建议先运行 harness 或 vigiles audit,不得虚构记录。第二步按用户问题对应账本:技能停止触发或错技能运行,则按名称统计触发次数,查找同提示上触发的兄弟技能并检查描述重叠,建议区分或合并描述;钩子未拦截,则查对应事件的 hook 记录,依据 allow、observe 模式或记录缺失判断,建议 observe 改 enforce 或修复门控逻辑;子代理是否越界,则列出 allowed 为 false 的记录并收紧或放宽契约;是否变差,则比较 eval 指标在多次运行间的趋势,下降通常意味着升级后的漂移。第三步给出与证据绑定的修复建议,并引用具体记录。第四步在需要规格变更时交给 edit-spec,需提升为 lint 规则时交给 strengthen,需度量行为时交给 test-harness(measureTriggerRate)。

限制:诊断完全依赖本地账本,无记录时无法判断;具体命令、平台与费用信息暂未提供。