SuperAPI AI 工具集
合作ENAI 行业资讯收藏

Skill 广场

找到适合任务的 Agent Skill，阅读介绍并复制安装命令。

更新于 10-31 00:15

测试与质量

12,982 个结果

evals-ops

Evals Ops 是一套面向 LLM 与智能体系统的评测（evals）操作层技能，用于在实际调优提示词、检索、压缩策略或记忆层之前，先建立能判断改动是否带来改善的评测脚手架。它覆盖三个评测层级：结果层（最终产物是否正确）、步骤层（单次工具调用是否正确）、轨迹层（路径是否合理），并强调对多轮或有状态智能体同时报告 pass^k 与 pass@k。核心内容包括：构建经过评审、版本化并冻结的黄金数据集（生产采样、故障回放、对抗样本、边界用例四类构成）；带偏差控制的 LLM-as-a-judge，处理位置偏差、冗长偏差、自我偏好与量表漂移，并用 Cohen kappa 做人与评委的一致性校准；对抗式证伪（要求验证者尝试反驳发现，取多数结果）；RAG 检索评测（以 recall@k 与引用 id 有效性为门禁，拆分检索失败与生成失败）；以及回归门禁策略（确定性断言阻塞 CI，评委指标先观察后阻塞，阈值须低于噪声下限）。技能附带可离线运行、仅依赖标准库的脚本：judge-calibration.py（评委与人工一致性）、goldenset-audit.py（黄金集健康检查）、eval-baseline.py（噪声下限、门禁阈值与 McNemar 精确检验），以及黄金集、运行器、评分量规与 GitHub Actions 门禁等模板资产。

测试与质量2 次安装

qa-test-and-fix

QA: Test & Fix 是一个用于执行完整质量保证（QA）循环的技能，目标是发现缺陷、修复缺陷并证明修复有效，且全程使用原子提交。它提供三个强度层级：Tier 1 冒烟测试适用于小改动或单文件快速检查；Tier 2 标准 QA 为默认层级，适用于功能、重构或涉及用户可见代码的改动；Tier 3 深度 QA 适用于发布、安全敏感改动或关键功能，在 Tier 2 基础上增加边界值模糊输入、错误恢复、并发访问、错误处理路径审查、性能检查与安全检查。其 QA 流程包括：运行现有测试建立基线、阅读代码变更识别风险区域、为每个潜在缺陷编写精确复现步骤并确认缺陷、先写失败测试再做最小修复并原子提交、最后运行完整测试套件验证无回归。该技能要求以固定格式输出 QA 报告，包含层级、基线与最终测试统计、已修复缺陷（含提交与测试信息）、未修复缺陷（含严重程度与复现步骤）、新增测试以及未完全覆盖的风险区域。

测试与质量2 次安装

regression-testing

这是一个关于回归测试（Regression Testing）的技能，用于指导如何编写测试以防止已修复的缺陷再次出现。资料将其定位为专门用于防止回归的测试写作方法：回归指的是已经修复但可能重新出现的 bug。流程包括识别回归风险、编写特征测试（characterization tests）、为已修复的 bug 编写回归测试、基于覆盖率指导测试编写，以及进阶的变异测试（mutation testing）。资料还给出了测试组织的建议，例如目录结构、按行为分组测试、使用 describe 块以及测试命名方式。

测试与质量2 次安装

tdd

TDD（测试驱动开发）是一种以“红-绿-重构”循环为核心的开发方法论，源自 obra/superpowers（MIT 许可）。其铁律是：没有先行的失败测试，就不写生产代码。流程分为三步：RED 阶段先为下一个最小行为编写断言测试，运行并确认它因正确原因失败；GREEN 阶段只写让该测试通过的最少生产代码，不添加额外逻辑或优化，确保全部测试通过；REFACTOR 阶段清理重复、改进命名、简化结构，每步重构后都保持测试全绿，且不引入新行为。实践规则包括：尽量每个测试一个断言、按行为命名测试、保持循环在分钟级、卡住时缩小步骤、每次 GREEN 或 REFACTOR 后提交。适用于新功能开发、缺陷修复（先写复现测试）以及为无测试的旧代码添加特征测试后再重构。需避免先写代码后补测试、一次写多个测试、跳过重构、过度 mock 等反模式。

测试与质量2 次安装

verification

Verification 是一套强调“基于证据”完成任务验证的方法论，源自 obra/superpowers（MIT）。它的核心是“铁律”：没有新证据就不下结论。在说出“完成”“可用”“已修复”或“已验证”之前，必须先运行相关命令（测试、构建、lint、curl 等），读取完整输出（而不只是退出码），确认输出与预期一致，然后才能宣称完成。若无法运行验证命令，应明确说明，绝不能假设。工具给出了“主张—最低证据”的对照：测试通过需展示测试运行器的绿色输出；构建成功需展示零错误的构建命令输出；缺陷已修复需展示复现用例现在产生正确输出；文件已更新需回读文件确认内容；服务运行中需访问健康端点并展示响应。工作流为：完成改动、确定将要声明的主张、为每个主张执行对应验证、任一步失败则修复并重新验证且不得跳步、最后附证据（命令+输出）报告结果。需避免的反模式包括：未运行任何东西就说“应该可用”；运行了命令却不读输出；验证一件事却声称另一件事；在输出含警告或部分失败时把干净退出码当作成功证据；在进一步改动后复用旧的过期证据。

测试与质量2 次安装

oneos-work-verify

oneos-work-verify 是面向 OneOS 已部署测试环境的独立验证技能，适用于验收测试、回归测试、视觉检查与缺陷复测等场景，并支持 Midscene 与 Playwright 两类 UI 自动化方式。该技能采用独立工作体系 v1.0.0，不依赖团队 FDE。使用前需先阅读共用协议与验证方法，首次接入需阅读环境说明，并核对实际组件部署版本后再执行适用测试；规则来源遵循双库方法，页面标准依据体验规范。需要 UI 自动化时，阅读 Midscene 接入说明，并将本包 assets/midscene 模板复制到项目测试目录，避免在技能安装目录中堆积依赖或证据。实际业务验收要求具备真实数据和明确预期，本地合成冒烟仅能证明测试工程可运行。环境版本不匹配与模型、账号、数据不可用需分开报告；失败时保留首轮证据，区分功能问题与测试基础设施问题；返修交付遵守分支交接方法，仍等待测试人员部署，不自行发布测试版。报告使用测试结果模板与运行记录，仅当范围内全部适用必测项完成且缺陷条件满足时才报告通过，未测、跳过或模拟结果不计为通过；同一实施会话中需标明自验或辅助验证，不得冒称独立 QA。

测试与质量2 次安装

reproducibility-audit

Reproducibility Audit 是一个用于审查计算机科学或人工智能研究项目可复现性的技能，覆盖环境、数据、代码、配置、日志和文档六个方面。它通过分阶段工作流，先确认项目上下文（本地、远程服务器、HPC 或容器化，以及可复现目标），再依次审查环境管理、数据与代码版本控制、文档、实验卫生（随机种子、配置文件、超参数日志、提交哈希、指标文件、绘图脚本、失败日志、结果与论文的可追溯性），并将问题按 Blocker、High、Medium、Low 四个严重级别分类，最终生成一份审计报告和按优先级排序的修复清单，保存到 ~/phd-log/reproducibility/YYYY-MM-DD-[project].md。适用于启动或清理研究代码库、协作者交接、无法复现旧实验、准备论文投稿或公开发布、以及在本地、服务器、HPC、Docker 或 conda 环境之间迁移等场景。

测试与质量2 次安装

eval-harness

Eval Harness 是一个面向 Claude Code 会话的正式评估框架，实现评估驱动开发（EDD）原则。它把评估视为“AI 开发的单元测试”：在实现之前定义预期行为、开发过程中持续运行评估、跟踪每次变更带来的回归，并使用 pass@k 指标衡量可靠性。框架支持能力评估（测试 Claude 能否完成以前做不到的事）与回归评估（确保改动不破坏现有功能），提供基于代码、基于模型和人工三种评分器，并给出 pass@k、pass^k 等指标与阈值建议。评估产物存储在项目的 .claude/evals/ 目录下，可结合 /eval 命令进行定义、检查和报告。适用于为 AI 辅助工作流建立 EDD、定义任务完成通过/失败标准、创建回归测试套件、跨模型版本基准测试等场景。

测试与质量2 次安装