SuperAPI AI 工具集

jev-evidence-eval

测试与质量

查看项目

更新于 10-15 23:48

技能介绍

用途:评估基于证据的判定与分类工作流,检验某段文本是否支持某主张,或区分支持、矛盾与沉默。

主要能力:定义主张与候选段落,将期望标签置于模型状态之外;用 Noul 判断段落是否完全支持主张,用 Choice 区分支持、矛盾与沉默;纳入实体、时间、限定词与范围;缺失证据不等于否认;从源码片段复制回执,逐字回执只证明来源而非正确性;将检索覆盖率与对已检索段落的判定分开度量。

测试用例:覆盖普通情形、缺失事实、矛盾、否定、不同实体、数值不匹配、条件丢失、从允许变为必需、有效推断以及文档内嵌指令。合成夹具公开,客户输入保密。

用法:在开发用例上扫描阈值,冻结策略后再测试未见用例;报告已接受用例的准确率,并给出复核率、覆盖率与各类别错误;类别不均衡时用平衡准确率。与现有工作流在相同输入上对比;LLM 基线可用 System One Adapter 接受相同 Python 请求;将升级到 LLM 作为独立分支并统计其成本与延迟;固定模型版本、交替分支,并纳入重试、格式错误输出与服务错误。使用用户现有测试框架,提供离线试运行并保存答案、返回的模型版本与用量,以便无需新调用即可重放策略变更。最终报告包含用例数、准确率、覆盖率、端到端延迟、成本与代表性失败。

限制:置信度或所选标签概率不构成准确率保证,重复调用不增加独立用例数量。其余细节暂未提供。