SuperAPI AI 工具集

printing-press-output-review

测试与质量

查看项目

更新于 10-16 01:31

技能介绍

用途:对已打印(生成)的 CLI 采样输出做合理性审查,捕捉 dogfood、verify 与规则化 scorecard --live-check 无法覆盖的问题。仅内部使用(user-invocable: false),由主 printing-press 技能在 shipcheck 第 4.85 阶段及 printing-press-polish 诊断循环中调用;单独运行只会产生无结论、无修复、无发布建议的孤立发现文本,可执行入口为 /printing-press 与 /printing-press-polish。该技能带 fork 上下文,隔离审查智能体的诊断输出。

主要能力:检查子串匹配但语义不符的结果;聚合命令在部分来源返回时静默丢源;排序/排名结果是否对查询合理;输出 URL 是否指向分类索引、feed 端点或随机选择路由而非规范内容永久链接;规则层未覆盖的格式错误(乱码、复数不一致、单元格截断);对 recall、learnings、playbook 等学习循环命令,新打印时本地学习库为空,空候选、零计数属正常,不报错。

使用方式:调用方传入 $CLI_DIR(已生成 CLI 工作目录的绝对路径)。先用 cli-printing-press scorecard --dir "$CLI_DIR" "${RESEARCH_ARGS[@]}" --live-check --json > /tmp/output-review-livecheck.json 2>&1 || true 收集样本(必要时通过 --research-dir 指定 research.json 所在目录);若调用失败或文件为空,或 live_check.features[] 中状态为 pass 的条目为零,则返回 SKIP,不派发审查智能体。随后以 Agent 工具派发通用智能体,仅审查 status: pass 条目,结合 research.json 的 novel_features、novel_features_built 与 CLIBINARY,按四项检查(查询语义匹配、格式错误、聚合来源完整、排序合理)给出每条不超过 50 词的发现,无问题则返回 PASS。最后输出 ---OUTPUT-REVIEW-RESULT--- 结构化块,状态为 PASS、WARN 或 SKIP。

限制:Wave B 策略下所有发现均为 warning,从不作为 error,shipcheck 照常继续;发现记入运行产物目录(如 manuscripts/<api>/<run>/proofs/phase-4.85-findings.md)并展示给用户,不写入 scorecard.json。非交互场景(CI、cron、批量重生成)采用 fail-open-with-log:记录发现后继续,SKIP 不阻塞。目前无 --auto-approve-warnings 标志;Wave C(未来 PR)才会在误报率低于 10% 后启用阻塞式 error。已知盲点:无法核对数值准确性(价格、评分、排名真值)、无法检测数据新鲜度、无法判断主观偏好;仅覆盖 live_check.features[] 中的命令,完整命令树覆盖属主技能第 5 阶段;查询意图检查假设英文输入输出,非英文 CLI 需另行校准。