SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场ln-636-manual-test-auditor

ln-636-manual-test-auditor

测试与质量

查看项目

更新于 10-15 14:28

技能介绍

用途

ln-636-manual-test-auditor 是一个 L3 Worker 类型的技能，专门审计手动测试脚本是否能够产出可复现、有用的证据。它聚焦于 tests/manual/ 目录下的 bash 测试脚本，评估其证据质量，并给出 REWRITE_MANUAL_EVIDENCE 或 KEEP_MANUAL_EVIDENCE 的结论，同时计算合规评分（X/10）。

该技能的独特定位是：只审计手动测试证据，不评判自动化测试价值、E2E 优先级、产品行为、缺失覆盖率、可信度、oracle 强度或结构。

主要能力

技能对每个手动测试脚本检查七个质量维度：

  1. Harness Adoption（共享框架采用）：检查脚本是否使用共享框架（run_test、init_test_state）而非自定义断言逻辑。若项目不存在 test_harness.sh，则跳过此项。严重级别 HIGH。
  2. Golden File Completeness（golden 文件完整性）：检查测试套件是否有 expected/ 目录及与测试场景匹配的参考文件。若测试不涉及 diff 或文件比较，可跳过。严重级别 HIGH。
  3. Config Sourcing（配置引用）：检查脚本是否 source 共享 config.sh。自包含工具脚本可跳过。严重级别 MEDIUM。
  4. Fail-Fast Compliance（快速失败合规）：检查脚本是否使用 set -e（或 set -eo pipefail），失败路径是否返回非零退出码。严重级别 HIGH。
  5. Template Compliance（模板合规）：若 tests/manual/ 存在 TEMPLATE 文件，检查脚本结构是否对齐（头部注释块、标准变量命名、标准 setup 模式）。无模板则跳过。严重级别 MEDIUM。
  6. Idempotency（幂等性）：检查脚本能否安全重跑，是否有 cleanup trap、临时文件清理、硬编码资源名冲突等。只读脚本可跳过。严重级别 MEDIUM。
  7. Documentation（文档）：检查套件目录是否有 README.md 说明用途与前置条件。setup 与工具目录可跳过。严重级别 LOW。

使用方式

技能接收 contextStore，包含 tech_stack、testFilesMetadata（过滤为 type: "manual"）、codebase_root、output_dir。手动测试元数据包括 suite_dir、has_expected_dir、harness_sourced。

工作流程：

  1. 解析上下文，提取手动测试文件列表、output_dir、codebase_root。
  2. 发现基础设施：检测 tests/manual/config.sh、test_harness.sh、test-all.sh、TEMPLATE-*.sh、regenerate-golden.sh。
  3. 第一层扫描：对每个手动测试脚本检查七个质量维度。
  4. 第二层上下文分析（强制）：判断是否为 setup/utility 脚本、master runner，或项目是否根本不使用共享 harness，据此跳过不适用的检查。
  5. 收集发现：记录违规的严重级别、位置（file:line）、工作量、动作、建议。
  6. 计算评分：按严重级别统计违规，计算合规评分（X/10）。
  7. 写报告：按模板构建 markdown 报告，单次 Write 写入 {output_dir}/ln-636--global.md。
  8. 返回摘要给协调器。

输出报告路径为 .hex-skills/runtime-artifacts/runs/{run_id}/audit-report/ln-636--global.md，类别为 "Manual Evidence"，检查项包括 harness_adoption、golden_file_completeness、config_sourcing、fail_fast_compliance、template_compliance、idempotency、documentation。摘要按 audit_summary_contract.md 输出；当 summaryArtifactPath 缺失时，写入 .hex-skills/runtime-artifacts/runs/{run_id}/evaluation-worker/{worker}--{identifier}.json。

适用场景

适用于需要审计手动测试脚本证据质量的项目，尤其是使用 bash 脚本在 tests/manual/ 下组织手动测试、并希望确保测试可复现、有 golden 参考、遵循 fail-fast 与共享框架的团队。

限制

  • 只做审计，不自动修复（Do not auto-fix: Report only）。
  • 若不存在 tests/manual/ 目录，返回 10/10 且零发现。
  • 排除非测试文件：config.sh、test_harness.sh、test-all.sh、regenerate-golden.sh、TEMPLATE-*.sh、tools/、results/、test-runs/ 中的文件。
  • setup 脚本（00-setup/）要求放宽（无需 golden 文件、无需 harness）。
  • 工作量定义：S = <1h，M = 1-4h，L = >4h。
  • 版本 1.0.0，最后更新 2026-03-13。