SuperAPI AI 工具集

score-eval

测试与质量

查看项目

更新于 10-16 09:28

技能介绍

用途:当已有一份评测 diff、一份评分标准(rubric)和一份基线夹具,需要评估其中检测到的问题与已修复的问题时使用本技能。

必要输入:待评分的 diff 文件;评测评分标准,含各问题 ID、评分问题与输出列;原始夹具目录或不可变基线修订;经授权的评分结果输出位置。这些输入属于评测项目,并非本技能条目附带文件;路径应从所给任务中解析,不要假定技能目录中存在 eval-rubric.md、fixtures/hono-drizzle-app/ 或 results.csv。

流程:确认所有必要输入可读且指向同一评测任务,若缺少评分标准或基线则停止评分并指明缺失项;阅读 diff、评分标准与相关基线文件,使用评分标准中真实的问题 ID,不要自造 P1-P5 或替换评分规则;对每个问题回答评分标准中的“已检测/已修复”问题,并引用具体的 diff 或文件证据,按评分标准允许的方式记录不确定性,不得以证据缺失代替已验证修复;仅在修复声明需要时运行任务授权的验证,执行前审查夹具代码与脚本,将其与生产凭据/数据隔离,遵守资源与网络限制,提供的夹具不自动可信,需清楚区分静态检查与已执行检查;按评分标准的确切列结构准备一行结果,保留已有结果,仅向给定目标追加,若评分标准允许可将不支持的字段留空;报告完成的行、证据及任何未执行的检查或无法评分的问题。

示例:对 work/change.diff 依 work/rubric.md 与基线夹具评分,并把审阅后的行追加到 work/results.csv,不要推断缺失的评分准则。

风险边界:关键标签涵盖可选执行所供夹具代码以及向评测结果追加内容;仅静态阅读时保持只读。diff 或评分标准均不授权生产变更、安装依赖或在评测范围之外运行任意夹具脚本。

限制:本技能不提供上游评测夹具或评分标准;评分依赖所提供的评分标准,仅凭 diff 不能证明运行时行为;结果写入与测试执行必须保持在用户授权的评测范围内。