SuperAPI AI 工具集

sc-evaluate

通用与其它

查看项目

更新于 10-16 01:27

技能介绍

用途:对 LLM 流水线做质量评估。它把提示词跑在金标准数据集上,再用 oracle LLM-as-judge 打分,衡量输出质量、定位薄弱步骤并给出提示词改进建议。

主要能力:按内容一致性、结构匹配、细节准确性、完整性等可自定义维度加权评分;支持指定测试用例与步骤、覆盖流水线模型与评审模型、跳过流水线或跳过评估、并发评审、设置“需改进”阈值;输出 JSON、Markdown 及 CSV 报告,并保留中间结果。

使用方式:常用命令包括 /sc:evaluate(全量评估)、/sc:evaluate --cases=case_1,case_2 --steps=1,2,3(快速抽查)、/sc:evaluate --skip-pipeline(只重评已有结果)、/sc:evaluate --skip-eval(只生成输出)、/sc:evaluate --judge-model=gpt-4o(指定评审模型)、/sc:evaluate --dry-run(预览计划)。流程为发现评估脚本与金标准、配置范围、执行流水线、LLM 评审打分、分析结果、给出改进建议、生成报告。

适用场景:需要回归验证提示词或流水线质量、对比金标准、定位低分步骤并迭代提示词的开发与评估工作。

限制:需项目内存在评估脚本、金标准、提示词与评分标准,否则需手动指定路径;会产生 API 调用,全量运行前应估算调用量并先用少量用例验证;评审模型与流水线模型默认取环境配置;具体收费、价格与平台支持暂未提供。