SuperAPI AI 工具集
合作ENAI 行业资讯收藏

Skill 广场

找到适合任务的 Agent Skill，阅读介绍并复制安装命令。

更新于 11-02 00:09

测试与质量

13,031 个结果

agentteams-test

AgentTeams 测试技能用于完成 AgentTeams 的完整测试流程，包括安装、卸载、运行测试以及导出调试日志供分析。适用的场景包括：验证 AgentTeams 安装是否正常、执行功能性测试，以及在测试失败或卡住时导出日志并进行问题诊断。资料给出的测试用例覆盖 Manager 启动健康检查、创建 Worker、分配任务、人工介入追加指令、心跳查询、多 Worker 协作，以及需要 GitHub Token 的 GitHub/MCP 相关测试。

测试与质量1 次安装

02-ref-hallucination-arena

Reference Hallucination Arena 是 OpenJudge 中的基准评估工具，用于衡量大语言模型推荐真实学术参考文献的能力。它从数据集读取查询，收集目标模型输出的 BibTeX 格式引用，解析后与 Crossref、PubMed、arXiv、DBLP 数据库交叉核验，计算核验通过率、各字段准确率（标题、作者、年份、DOI）和学科维度得分，并生成 Markdown 报告与可视化图表。支持命令行与 Python API 调用、断点续跑、多模型配置及可选 Tavily 联网检索模式。

测试与质量1 次安装

align-human

align-human 是一个用于评估自动评判器（judge/grader）与人工标注一致性的技能，属于 agentscope-ai/openjudge 项目。它在用户已拥有可用评判器和 50 条以上人工标注数据时使用，目标是判断评判器是否足以替代人工审核、检测系统性偏差并规划减少人工复核的路线。该技能提供一套按顺序执行的任务清单：加载并对齐评判结果与人工标签；计算混淆矩阵及分层的 TPR/TNR；计算 Cohen's kappa、Gwet's AC1 和方向性偏差；执行位置、冗长度、自我增强、进度错觉、标签漂移五项偏差检查；聚类分析分歧并诊断根因；给出四阶段人工减少路线图；最后确认并输出结果。技能附带仅依赖标准库的校准脚本 scripts/calibration.py，可输出混淆矩阵、带 bootstrap 95% 置信区间的 TPR/TNR/F1、kappa、AC1、方向性偏差、分层指标和校准门控结论。

测试与质量1 次安装

bootstrap

Bootstrap 是 OpenJudge 项目中的冷启动评估技能：当用户没有任何评估数据（无 traces、无标签、无评估集）时，帮助在约 30 分钟内从零搭建一个可运行的 v0 评分器，并给出通往校准可信评估的路线图。该技能要求安装 OpenJudge（pip install py-openjudge），使用 SimpleRubricsGenerator / IterativeRubricsGenerator 生成评分器，但访谈、分层与校准路线图方法论与 SDK 无关。流程包括：一次性产品访谈、生成 v0 评分器、按 60/30/10 分层合成 30 条评估输入、用 GradingRunner 运行 v0 评估、输出校准路线图（收集 50 条人工标签、测量 TPR/TNR、检测偏差等）。

测试与质量1 次安装

eval-design

eval-design 是一个用于设计高质量评估数据集的技能，适用于需要从智能体轨迹、产品规格或用户访谈中提取评估维度，并构建分层测试用例的场景。它帮助用户将业务上下文转化为可度量的评估维度，按难度分层采样（易/边界/对抗），生成合成输入和对抗样本，并输出可直接用于 OpenJudge GradingRunner 的结构化数据集。该技能强调不生成标签、使用多模板增加多样性、以及通过覆盖率检查脚本验证数据集质量。

测试与质量1 次安装

eval-report

eval-report 是一个只读的评估分析技能，用于在用户已运行多个评估技能后，将所有评估结果综合成一份完整报告。它读取 eval-design.md 和 runs/ 下的历史运行记录，梳理时间线与关键指标，按五个维度（失败发现、评审质量、标签覆盖、安全覆盖、人类对齐）进行成熟度评估，并综合跨技能的一致信号、矛盾点和覆盖盲区；随后诊断弱点分布与相关性，将根因归类为系统、指标、数据或不明，输出按 P0/P1/P2 排序的建议，并生成面向非技术干系人的执行摘要（含发布就绪判断、前三大风险与下一步行动）。该技能不创建新的评审器或数据集，只分析已有内容。

测试与质量1 次安装

metric-design

metric-design 是 OpenJudge 生态中的评估指标设计技能，用于在已有评估原则或数据集的情况下，帮助选择合适的评分器（grader）、设计评估指标并生成可执行的 GradingRunner 代码。它提供按维度选择评分器类型的决策树（从零成本确定性规则到 LLM 评分器、智能体行为评分器、代码执行评分器及外部工具验证评分器），给出自定义 LLM 评分器的四组件模板（任务与标准、二元通过/失败定义、少样本示例、结构化输出），并支持通过 SimpleRubricsGenerator 与 IterativeRubricsGenerator 从任务描述或标注数据自动生成评分器。该技能还包含反模式检查清单，以及构建加权或门控聚合管道的代码。使用前需安装 py-openjudge，且评分器选择与 GradingRunner、聚合器均为 OpenJudge API。

测试与质量1 次安装

prompt-regression

prompt-regression 是一个用于提示词回归对比的技能：当用户修改了提示词（系统提示、RAG 模板、智能体指令等）后，用来判断新版本（candidate）相比旧版本（baseline）在各项评估维度上更好、更差还是持平，并以统计方法给出结论。它通过加载与差异分析提示词、推导对比维度、为每个维度选择评分器（pairwise、judge 或 rule）、进行位置去偏的交换聚合比较、计算胜率与 bootstrap 95% 置信区间，最终按维度输出判定结果。适合提示词迭代、RAG 答案模板优化、智能体指令优化等需要数据支撑变更决策的场景。

测试与质量1 次安装

rag-eval

rag-eval 是一个用于评估 RAG（检索增强生成）系统质量的智能体技能，核心思路是把检索问题和生成问题分开诊断。单个 RAG 准确率指标无法说明问题出在找错文档还是用错文档，该技能提供加载检索轨迹、分别评估忠实度和检索效果、构建诊断矩阵、输出优先修复建议的完整流程。附带仅依赖标准库的诊断脚本 scripts/rag_diagnostic.py，可读取 JSONL 轨迹并输出忠实/幻觉划分、2×2 矩阵和主要问题。适用于检查 RAG 是否幻觉、优化分块策略前后对比、构建 RAG 评测数据集等场景。

测试与质量1 次安装

examples-auto-run

examples-auto-run 是一个用于自动运行 Python 示例的技能，通过 uv run examples/run_examples.py 在 auto 模式下执行示例，支持自动输入与自动批准、按示例记录日志、生成失败重跑列表，并提供启动、停止、状态、日志、tail、收集、重跑等辅助命令。它支持后台运行与 pidfile 管理，默认包含交互式示例，可通过环境变量覆盖服务器、音频、外部示例等开关。该技能本身不进行自动化行为验证，需由 Codex/LLM 手动核对每个退出码为 0 的示例日志。

测试与质量1 次安装