SuperAPI AI 工具集

evaluation-criteria

测试与质量

查看项目

更新于 10-16 05:35

技能介绍

用途

evaluation-criteria 是一个与技术栈无关(technology-agnostic)的技能,核心目的是为交付物的评估建立一致、客观的标准。它被调用时,为 deliverable-evaluator 提供评估所需的评分方法。其目标包括:评估交付物质量、对照需求进行打分、做出通过/失败(pass/fail)判定,以及提供建设性的反馈。

主要能力:五个评估维度

该技能定义了五个评估维度,每个维度包含问题、评估标准(criteria)和评分规则(scoring)。

完整性(Completeness)

  • 问题:是否所有必需的内容都已具备?
  • 标准分为三组:
    • 功能(functionality):所有指定功能已实现、所有用户故事已覆盖、所有验收标准已满足。
    • 覆盖(coverage):所有边界情况已处理、所有错误路径已覆盖、所有集成已连接。
    • 文档(documentation):所需文档已提供、API 文档完整、在需要处有注释。
  • 评分:通过为“100% 的必备项均已具备”;失败为“任何必备项缺失”。

正确性(Correctness)

  • 问题:它是否能正确工作?
  • 标准分为三组:
    • 功能(functional):业务逻辑准确、计算正确、数据转换有效。
    • 行为(behavioral):产生预期输出、错误处理得当、边界情况处理正确。
    • 集成(integration):外部系统已连接、数据流正确、API 响应正确。
  • 评分:通过为“所有测试通过,无逻辑错误”;失败为“任何测试失败或逻辑错误”。

质量(Quality)

  • 问题:它是否构建良好?
  • 标准分为三组:
    • 代码规范(code_standards):遵循项目约定、无 lint 错误、格式一致。
    • 架构(architecture):遵循设计模式、关注点分离得当、依赖管理正确。
    • 可维护性(maintainability):代码可读、复杂度可控、无代码坏味道。
  • 评分:通过为“无严重问题,重大问题极少”;失败为“存在严重问题”。

安全性(Security)

  • 问题:它是否安全?
  • 标准分为三组:
    • 漏洞(vulnerabilities):无 SQL 注入、无 XSS 漏洞、无 CSRF 漏洞。
    • 认证(authentication):认证检查得当、密码处理安全、会话管理正确。
    • 数据保护(data_protection):敏感数据已加密、PII 处理正确、存在审计日志。
  • 评分:通过为“未发现安全漏洞”;失败为“存在任何安全漏洞”。

性能(Performance)

  • 问题:它的性能表现是否良好?
  • 标准分为三组:
    • 响应时间(response_time):API 响应 < 200ms(95 百分位)、页面加载 < 3 秒。
    • 资源使用(resource_usage):内存使用合理、CPU 使用高效、无内存泄漏。
    • 可扩展性(scalability):能处理预期负载、无 N+1 查询、在需要处实现缓存。
  • 评分:通过为“达到性能阈值”;失败为“低于性能阈值”。

评分系统

严重程度分级(Severity Classification)

  • critical(严重):必须在验收前修复。示例包括安全漏洞、数据损坏风险、核心功能损坏。影响为“自动判定为 FAIL”。
  • major(重要):应在验收前修复。示例包括逻辑错误、缺少测试、性能问题。影响为“累计计入阈值”。
  • minor(次要):可以稍后修复。示例包括风格改进、文档缺口、次要优化。影响为“记录但不阻塞”。

通过/失败判定(Pass/Fail Determination)

  • 通过条件(pass_criteria)需同时满足:无严重问题;关键维度通过(完整性、正确性、安全性)。阈值:重要问题 <= 3;总体得分 >= 80%。
  • 失败条件(fail_criteria)满足任一即失败:存在任何严重问题;关键维度失败;重要问题 > 5;总体得分 < 60%。

使用方式:输出格式

该技能定义了评估结果的输出结构:

  • evaluation.overall_verdict:PASS 或 FAIL。
  • evaluation.overall_score:0-100。
  • evaluation.dimensions:分别列出 completeness、correctness、quality、security、performance 五个维度,每个维度包含 score(0-100)、status(PASS|FAIL)、issues(问题列表)。
  • evaluation.issue_summary:统计 critical、major、minor 的数量。
  • evaluation.feedback:可执行的反馈条目列表。

适用场景与集成

该技能主要供智能体使用,primary_users 包括:

  • deliverable-evaluator:作为核心评估方法。
  • quality-reviewer:用于质量评估。

它适用于需要对交付物进行结构化、可重复评估的场景,例如对照需求打分、做出验收判定并给出反馈。

限制

资料未提供该技能的具体安装命令、运行环境要求、依赖项、收费或价格信息,这些内容暂未提供。