SuperAPI AI 工具集

skill-auditor

智能体与模型

查看项目

更新于 10-15 16:45

技能介绍

用途:对任意 Agent 技能执行端到端审计,从结构完整性到实际功能表现,输出统一评分与优化建议。适用于 Manus、OpenClaw/ClawHub、Claude、LobeHub 或自定义 SKILL.md 技能。

审计流程共 8 步:第一步技能否决(硬门,检查运营稳定性、结构一致性、结果确定性、系统安全四项红线,任一失败即拒绝);第二步基础评估(25 项标准,100 分,参考 ISO 25010、OpenSSF 等);第三步分类与执行模式检测(分 5 类,并识别 Direct/CLI/API/Hybrid 执行模式);第四步按复杂度生成 3、5 或 7 条测试输入;第五步按检测到的模式执行测试;第六步多层评估,含基础评分(每输出 /40)、类别专用评分(/60)与断言检查,并对第 1–4 类运行研究否决硬门(科学诚信、实践边界、方法基线、代码可用性);第七步生成 .md 人工复核视图并收集每输入得分;第八步输出最终分数与 P0/P1/P2 优化建议,并生成 eval_report_<n>_result.json。

最终分数 = 静态分数 × 0.4 + 执行均分 × 0.6。评分分级:85–100 生产就绪,75–84 受限发布,60–74 仅限 Beta,低于 60 拒绝部署。两道硬门不可跳过;即使触发否决,仍会产出修正后的结果。

限制:所有审计输出必须使用英文,无论用户或技能使用何种语言;第二步、第四步及评估细节依赖 references 目录下的参考文件(basic_veto.md、basic_evaluation.md、classification.md、specialized_evaluation_*.md、scientific_veto.md、scoring_rubric.md),具体评分细则暂未提供完整内容。