SuperAPI AI 工具集

eval-grade

通用与其它

查看项目

更新于 10-15 20:27

技能介绍

用途:围绕观察到的具体失败或明确产品需求,建立可验证的评测标准,实现并校准针对失败模式的 AI 评测器,避免使用笼统的“质量”分数。

主要能力:支持多条评测路线——托管评测(托管托管标准、保留定义并核对示例判定)、本地 DeepEval(仅作本地轨道的评分组件,不强制其运行器、追踪或数据集,可选 Jev system_one、混合或 LLM 评判)、以及复用项目自带评测器或自写小型可调用函数(返回结构化结果与理由)。可用代码直接检验结果时优先用代码;对智能体可检查 fixture 状态、测试、文件或预期 API 效果,过程约束用对话记录检查。主观检查建议每个评判器只针对一种失败模式,给出具体通过/失败定义;权衡用连续度量,偏好比较用盲式成对比较,评分前记录阈值与并列处理;成本/延迟与质量分开记录。

使用方式:先遵循操作协议与校准说明,运行该技能的工作区安装器(会保留已有定制文件);托管路线在确认连接模式后使用具体服务操作。先确定声明:复用已审核的分类 ID、定义与边界示例,命名检查项、单位(输出、轮次、对话、轨迹或最终状态)、必要证据与明确的通过/失败含义。若需整理论述可用已安装的 eval-error-analysis。

验证与限制:准备专家标注的通过/失败样例,将提示示例与开发校准、最终留出验证分开;覆盖清晰通过、失败、空输出、答错问题及类注入文本。将评判器判定与人类比较,检查分歧,修订定义并重跑开发样例。分别记录误通过与误失败、类别计数、不确定性、评判器配置与标准版本。智能体生成的标签不能验证其自身评判器;Jev 置信度代表果断程度而非准确性。需向人类展示实际输出、标签、判定与理由;若分歧未解决,将评测器标为临时并限制使用。在更换评判器、模式、量规或领域分布后需重新验证。交付物包括版本化标准、可运行/已配置评测器、验证证据与已知限制,并引用相关失败类别;在测量适合预期决策前,不要开始应用优化。具体收费、价格、平台要求与安装命令细节暂未提供。