SuperAPI AI 工具集

llm-evaluation-design

测试与质量

查看项目

更新于 10-16 09:33

技能介绍

用途:为 LLM 系统设计可重复的评估方案,覆盖能力、安全、可靠性和业务价值;也可用于审查既有计划、结果或证据集并给出可执行的改进建议。上下文不完整时,仍可先做有边界的第一轮评估。

主要能力与输出:默认以 Markdown 输出,便于评审、执行与逐步细化;用户要求表格、CSV、JSON 或工单字段时,保留风险、证据、优先级与边界信息;面向机器消费的输出需先确认 schema、枚举和必填字段。

使用方式:需阅读并遵循 prompts/llm-evaluation-design.md,其中包含输入契约、执行规则、最低覆盖范围和输出顺序;仅补充会改变决策的上下文,如范围、环境、版本、约束、证据和成功标准;先审计输入,再区分已确认事实、工作假设和待解答问题;按风险与证据强度排序,产出可直接执行或评审的工件。评估或回归场景下,阅读 evals/eval.yaml 及 evals/cases/ 下的相关用例;references/、examples/、scripts/ 或 output-formats.md 仅在目录存在且任务需要时加载。

交付范围与约束:覆盖评估目标、数据集代表性、评分标准(rubric)、自动与人工评分、基线、统计置信度、数据污染和回归门禁;将事实、假设、缺口和建议分开;对高风险项给出优先级、证据依据、负责人或下一步行动;定义可验证的决策标准。核心约束包括:将指标映射到真实任务、校准并审计 LLM 评判者、把离线质量与线上业务指标分开;不得编造证据中没有的系统行为、字段、数据、指标或根因;重要结论须关联证据,无支撑的结论标记为假设并给出验证方法;优先级需以业务影响、可能性或可检测性解释。不作未经授权的生产写入或破坏性操作。

常见误区:只列检查项而无前置条件、预期结果或证据;把所有事项标为高优先级而回避取舍;用工具名称或通用理论代替领域推理;拒绝不完整输入,或假装不完整证据能支撑确定性结论。

最佳实践:从最可能造成业务损失、安全问题或发布阻塞的路径入手;用最小可验证实验降低不确定性并记录复现条件;使工件可执行且可被其他工程师独立评审。

限制:本技能依赖 prompts/llm-evaluation-design.md 等文件;若文件缺失或信息不足,只能交付有边界的第一轮结果并说明哪些结论缺乏支撑。其他具体用法细节暂未提供。