SuperAPI AI 工具集

agent-evaluation-harness

智能体与模型

查看项目

更新于 10-15 19:50

技能介绍

用途:在发布或重构 LLM 智能体前建立评估框架,避免仅凭“感觉更好”就合并提示词或图变更。适用于模型/模式/供应商选型、回归复现、判断是否可上线,以及涉及 LLM-as-judge、黄金集、评估套件或回归测试的场景。

主要能力:评估框架由三部分组成——冻结输入集(至少 20 个代表性任务,标注预期结果形态而非精确文本,需人工精选覆盖长尾)、评分函数(优先确定性评分,如精确匹配、schema 校验、工具调用正确性;仅对自由文本输出使用带评分标准和锚点示例的 LLM-as-judge)、回归门禁(与上次已知良好运行对比,分数下降则阻断 CI 或合并)。决策流程:可校验答案用确定性评分;结构化产物(代码、SQL、JSON)直接运行验证;自由文本用带 3–5 个锚点示例的评分标准;多步智能体循环需评估轨迹而非仅最终答案。每次运行需记录输入原文、真实标签、完整轨迹、各标准分数、延迟与 token 成本、模型/提示词/图版本。

使用方式:先向用户确认单任务成功标准、失败分布、可提供的代表性输入数量、正确性裁决人、评估运行位置(本地/CI/定时)及每次运行预算;若这些无法回答,应先解决而非搭建框架。

限制与反模式:无黄金集不得合并;禁止无锚点的 LLM-as-judge、单例调参、评估集随每次变更增长、仅评最终答案、反复重采样评委直到满意。参考资料包括 references/scoring.md、references/golden-sets.md、references/ci.md,相关技能有 agent-observability、agent-architecture-patterns、tool-use-schema-design、guardrails-and-safety、agent-cost-modeling。具体安装命令与代码示例暂未提供。