用途
evaluation-criteria 是一个与技术栈无关(technology-agnostic)的技能,核心目的是为交付物的评估建立一致、客观的标准。它被调用时,为 deliverable-evaluator 提供评估所需的评分方法。其目标包括:评估交付物质量、对照需求进行打分、做出通过/失败(pass/fail)判定,以及提供建设性的反馈。
主要能力:五个评估维度
该技能定义了五个评估维度,每个维度包含问题、评估标准(criteria)和评分规则(scoring)。
完整性(Completeness)
- 问题:是否所有必需的内容都已具备?
- 标准分为三组:
- 功能(functionality):所有指定功能已实现、所有用户故事已覆盖、所有验收标准已满足。
- 覆盖(coverage):所有边界情况已处理、所有错误路径已覆盖、所有集成已连接。
- 文档(documentation):所需文档已提供、API 文档完整、在需要处有注释。
- 评分:通过为“100% 的必备项均已具备”;失败为“任何必备项缺失”。
正确性(Correctness)
- 问题:它是否能正确工作?
- 标准分为三组:
- 功能(functional):业务逻辑准确、计算正确、数据转换有效。
- 行为(behavioral):产生预期输出、错误处理得当、边界情况处理正确。
- 集成(integration):外部系统已连接、数据流正确、API 响应正确。
- 评分:通过为“所有测试通过,无逻辑错误”;失败为“任何测试失败或逻辑错误”。
质量(Quality)
- 问题:它是否构建良好?
- 标准分为三组:
- 代码规范(code_standards):遵循项目约定、无 lint 错误、格式一致。
- 架构(architecture):遵循设计模式、关注点分离得当、依赖管理正确。
- 可维护性(maintainability):代码可读、复杂度可控、无代码坏味道。
- 评分:通过为“无严重问题,重大问题极少”;失败为“存在严重问题”。
安全性(Security)
- 问题:它是否安全?
- 标准分为三组:
- 漏洞(vulnerabilities):无 SQL 注入、无 XSS 漏洞、无 CSRF 漏洞。
- 认证(authentication):认证检查得当、密码处理安全、会话管理正确。
- 数据保护(data_protection):敏感数据已加密、PII 处理正确、存在审计日志。
- 评分:通过为“未发现安全漏洞”;失败为“存在任何安全漏洞”。
性能(Performance)
- 问题:它的性能表现是否良好?
- 标准分为三组:
- 响应时间(response_time):API 响应 < 200ms(95 百分位)、页面加载 < 3 秒。
- 资源使用(resource_usage):内存使用合理、CPU 使用高效、无内存泄漏。
- 可扩展性(scalability):能处理预期负载、无 N+1 查询、在需要处实现缓存。
- 评分:通过为“达到性能阈值”;失败为“低于性能阈值”。
评分系统
严重程度分级(Severity Classification)
- critical(严重):必须在验收前修复。示例包括安全漏洞、数据损坏风险、核心功能损坏。影响为“自动判定为 FAIL”。
- major(重要):应在验收前修复。示例包括逻辑错误、缺少测试、性能问题。影响为“累计计入阈值”。
- minor(次要):可以稍后修复。示例包括风格改进、文档缺口、次要优化。影响为“记录但不阻塞”。
通过/失败判定(Pass/Fail Determination)
- 通过条件(pass_criteria)需同时满足:无严重问题;关键维度通过(完整性、正确性、安全性)。阈值:重要问题 <= 3;总体得分 >= 80%。
- 失败条件(fail_criteria)满足任一即失败:存在任何严重问题;关键维度失败;重要问题 > 5;总体得分 < 60%。
使用方式:输出格式
该技能定义了评估结果的输出结构:
- evaluation.overall_verdict:PASS 或 FAIL。
- evaluation.overall_score:0-100。
- evaluation.dimensions:分别列出 completeness、correctness、quality、security、performance 五个维度,每个维度包含 score(0-100)、status(PASS|FAIL)、issues(问题列表)。
- evaluation.issue_summary:统计 critical、major、minor 的数量。
- evaluation.feedback:可执行的反馈条目列表。
适用场景与集成
该技能主要供智能体使用,primary_users 包括:
- deliverable-evaluator:作为核心评估方法。
- quality-reviewer:用于质量评估。
它适用于需要对交付物进行结构化、可重复评估的场景,例如对照需求打分、做出验收判定并给出反馈。
限制
资料未提供该技能的具体安装命令、运行环境要求、依赖项、收费或价格信息,这些内容暂未提供。