SuperAPI AI 工具集

fiftyone-eval-plugin

测试与质量

查看项目

更新于 10-16 08:38

技能介绍

该技能用于评估 FiftyOne 插件,适用场景包括安装前审查、审计已有插件以及验证插件是否符合 FiftyOne 插件系统。核心要求:评判前先读完插件的全部源码与配置文件;安全优先,任何严重安全问题即使代码质量高也直接判为失败;每条发现需说明问题、位置(文件与行号)、影响及修复方式;评分只基于代码本身而非作者或组织。

评估分七个阶段:一、清单与结构,检查 fiftyone.yml(名称、版本、fiftyone.version 约束、operators/panels、secrets)、skills 声明及 SKILL.md 匹配、init.py、类与操作符对应、面板构建产物、依赖解析。二、安全与信任,扫描文件系统访问、网络访问、命令执行、环境变量读取、数据外泄组合与依赖供应链,凭据读取应走 secrets 机制。三、注册与 MCP 就绪,验证插件注册、操作符可见性、工具暴露与启动行为。四、模式与契约,检查输入输出模式、必填字段、标签、动态操作符及错误处理。五、风险分类,检查严重级别声明、破坏性操作确认、数据修改、外部副作用与成本说明。六、代码质量,检查 FiftyOne 惯用模式、代码风格与 ExecutionStore 使用。七、智能体可发现性(可选),检查工具命名、描述、歧义与配套技能。

报告包含摘要(安全门、总分、质量分、智能体就绪分、严重问题与警告数)、安全评估、严重问题、警告、通过项、建议与各组件评分表。评分规则:安全为硬门槛,存在严重问题则停止评估并给出 N/A 与不予安装,存在可疑项则总分上限 70;总分按权重(模式与契约 25%、智能体可发现性 20%、风险分类 20%、代码质量 15%、注册与 MCP 10%、清单与结构 10%)计算。可用 MCP 工具如 list_plugins(enabled=True)、list_operators(builtin_only=False)、get_operator_schema(operator_uri="@org/operator-name") 验证注册信息。除插件评估外的环境问题建议使用 fiftyone-troubleshoot 技能。