SuperAPI AI 工具集

seta-statistical-fault-attribution

测试与质量

查看项目

更新于 10-16 01:35

技能介绍

用途:该技能让 Claude 为复合 AI 系统(由多个互连神经网络或 ML 模型组成的流水线)设计并实施模块化鲁棒性测试。它用 SETA(Statistical Fault Attribution)框架对流水线插桩,记录干净输入与扰动输入下的执行轨迹,为每个组件定义蜕变关系(正确性规格),并计算 Failure Contribution 分数,从统计上指出哪个组件对系统级失败负主要责任,从而替代不透明的端到端指标。

主要能力:将复合系统建模为状态转移系统,记录形如 (module_id, input, output, score_fn) 的轨迹节点;为每个模块定义复合蜕变关系(如检测框为原集子集、IoU 大于阈值、分类标签不变、OCR 的 Levenshtein 距离低于阈值等);系统级分数为各组件分数之积,任一组件失败则系统失败;累计 FC_i 并归一化为归因权重 alpha_i,输出按扰动类型与严重度分解的归因报告,并给出重训练、加预处理或替换模块等建议。

使用方式:先枚举流水线拓扑与路由逻辑,再包装各模块记录轨迹;为每个组件编写评分函数;选择与输入模态匹配的扰动(图像可用 imagecorruptions 的 gaussian_noise、fog、motion_blur 等,文本可用错字注入、同义替换,音频可用噪声叠加、变速);对每个输入做干净与扰动两次配对推理,按 module_id 对齐轨迹并计算组件分数;累计 FC 与 alpha 后生成报告。

适用场景:多模型流水线(如检测→分类→OCR)的鲁棒性测试、错误传播追踪、跨扰动类型的组件级鲁棒性比较、生产流水线精度下降时的故障定位、决定优先重训练或替换哪个模型,以及自动驾驶、医学影像、巡检等安全关键多网络系统的测试台设计。

限制:需要各组件的黑盒输入输出访问,纯 API 服务需代理包装;生成式或开放式模型难以定义二元通过/失败蜕变关系;FC 只指出哪个组件失败而非原因;失败样本少于约 100 时估计方差大;每输入需两次推理,成本翻倍。论文为 Chowdhury & D'Souza, CAIN 2026。