SuperAPI AI 工具集

eval-audit

数据与分析

查看项目

更新于 10-15 20:27

技能介绍

用途:在信任评估分数或据此优化应用之前,审计已有的评估证据、评分器、数据集与运行可靠性。它不是通用代码审查,而是针对评估流程本身的核查。

主要能力:按检查项审计任务有效性(指标是否衡量目标结果、失败类别是否真实观察到、对执行型智能体是否检查结果状态)、数据有效性(输入是否最新、是否代表所声称的比例、是否可合法留存,识别合成样本与模型生成的参考答案,检查重复与跨切分共享对话)、轨迹有效性(输出、分数、模型身份、用量与记录是否来自同一次执行,检查工具调用与检索)、评分器有效性(专家分歧、误通过与误失败,用空输出、答非所问、已知通过和已知失败做测试)、运行框架有效性(人为制造安全本地错误,应报告为执行错误而非能力零分,检查重试策略、超时、增量写入与恢复身份)、对比有效性(从原始行重算头条指标,比较数据集、评判器、模式、应用配置与环境版本,检查错误率与缺失数据分母,确认参数确实到达应用与子智能体)。

使用方式:先阅读操作约定,检查实际产物而非仅凭清单下结论;阅读工具包设置获取本地工具与确切命令,运行该技能的工作区安装器(会保留已有自定义文件)。收集运行命令、真实应用入口、用例、参考答案来源、完整轨迹、人工标注、评分器定义与版本、原始结果,复用已接入的可观测性工具或本地导出。

结论与修复:将发现分为阻断(结论无效)、重要(证据薄弱)、改进三类,每条需附产物引用、观察到的后果与具体修复。无法获取的证据标为未知而非通过。修复评分器需保留旧评分并重新评分所有已比较的存储输出;修复应用执行可能需重跑基线;对变更做版本化,展示排名是否变化。不要为迁就错误标注的参考答案而调优应用。交付重算结果、置信区间、失败与错误分解、按优先级排序的发现及下一步可执行动作。

限制:资料未提供具体收费、价格、平台支持范围与效果数据。