SuperAPI AI 工具集

evaluation-rubrics

通用与其它

查看项目

更新于 10-15 16:28

技能介绍

用途

evaluation-rubrics 用于设计结构化评分工具,通过明确的标准、绩效量表和描述符,实现一致、透明的质量评估。它适用于需要评估各类成果(如文章、代码、设计、提案等)的场景,帮助评估者减少主观偏差,提高评分可靠性。

主要能力

该技能提供完整的评分量规开发流程,包括六个步骤:定义目的和范围、识别评估标准、设计量表、撰写绩效描述符、测试和校准、使用和迭代。它涵盖五种常见量规模式:分析型量规(多标准×多等级,适合详细反馈)、整体型量规(单一总分,适合快速判断)、单点型量规(仅列出“达到标准”描述,适合成长型反馈)、检查清单(二元是/否,适合合规检查)和基于标准的量规(与学习目标挂钩,适合教育评估)。此外,还提供量表选择指南、标准类型说明、评分者间信度基准以及常见陷阱提醒。

使用方式

用户需提供输入:成果类型(评估什么)、标准(质量维度,通常4-8个)、量表(默认1-5,也可指定1-4、1-10或定性标签)。技能将输出 evaluation-rubrics.md 文件,包含目的、标准定义、带描述符的量表、使用说明、权重/阈值和校准说明。工作流程以清单形式引导用户逐步完成,并引用 resources/template.md、resources/methodology.md 和 resources/evaluators/rubric_evaluation_rubrics.json 等资源。

适用场景

适用于教育评估、代码审查、设计评审、提案评估、合规检查、技能认证等需要结构化评分的领域。特别适合需要详细反馈、诊断具体优缺点、或要求多个评估者保持一致的场景。

限制

该技能强调量规是辅助工具而非人类判断的替代品。对于高风险决策(如招聘、录取、奖项),建议结合结构化面试、作品集等多方法评估;对于主观/创造性工作(如艺术、诗歌、设计),需辅以评论、讨论和专家判断;对于复杂的整体判断(如领导力、文化契合度),量规有帮助但无法捕捉全部。此外,量规开发需要时间投入:简单量规2-4小时,标准量规6-10小时加校准会议,复杂量规15-25小时加多轮校准。评分者间信度低于70%时需要改进描述符并重新校准。