SuperAPI AI 工具集

academic skill eval team

智能体与模型

查看项目

更新于 10-15 17:23

技能介绍

用途:为单个 skill、技能目录、整个 skill pack 或尚未注册的草案组织“多代理评测团队”,从触发词、指令质量、工作流完整性、输出规范、鲁棒性、打包一致性六个维度产出结构化测评结论,并在发布前发现触发词、README、版本、输出模板等问题。

主要能力:由五个角色分工审查——Trigger Auditor 检查 manifest.json 与 SKILL.md 触发场景是否一致、中英双语覆盖及误触发/漏触发;Workflow Auditor 检查步骤、边界条件、输入要求与技能衔接;Output Judge 检查输出格式稳定性与可交付性;Red-Team Tester 构造模糊、缺信息、混合请求三类挑战输入;Pack Integrator 检查 manifest、README、CHANGELOG 与各 skill 描述一致性及工作流闭环。

使用方式:先明确评测对象(单文件、目录、整包或草案),收集 manifest.json、SKILL.md、README.md、CHANGELOG.md 及 examples/、docs/ 相关证据;然后按五代理分工审查,区分提示词设计、包装注册、工作流协同三类问题;每维度按 1-5 分评分,最终给出总评等级、总分、各代理发现、Top 3 优先修复建议与可复测 challenge prompts。输出按固定模板:Scope、Overall Verdict、Scorecard、Agent Findings、Priority Fixes、Retest Prompts。

适用场景:新 skill 发布前评审、已有 skill 回归检查、整包协作闭环检查、开源发布前排查。

限制:必须基于仓库证据判断,证据不足须明确写“证据不足”,不得臆测;不负责生成论文配图内容;评分不因内容长度或 README 质量而拔高;价格、平台等信息暂未提供。