SuperAPI AI 工具集

robustness-checker

数据与分析

查看项目

更新于 10-16 02:32

技能介绍

用途:针对最可能失败的论断做风险定向的稳健性、敏感性、误差与基线检查,检查项从模型假设与决策风险推导,而非套用通用清单。

前提:主模型已获批且基线可运行;已存在运行摘要、方法卡、探针摘要及相关输出;待检验论断或决策已知。

主要检查类型:参数或权重扰动;替代划分或重采样;种子稳定性;异常值/缺失数据处理;约束或容量扰动;基线比较;输出集中度/排名稳定性;误差与不确定性分析。需在解释结果前说明扰动范围及其意义,随机过程用固定种子运行。

输出:紧凑指标保存至 robustness/Qx/qx_robustness_summary.json;提交时另存 robustness/Qx/qx_robustness_report.md。若稳定性结论影响方法延续或论断范围,调用一次 choice card 并将人工答复记入 qx_decisions.jsonl。

总结契约记录:受检论断/假设、输入与结果来源路径、扰动、指标及预先声明的阈值(若有)、观测值、状态(PASS、CONDITIONAL 或 FAIL)、局限、回退触发相关性。

规则与限制:不为凑数量运行无关检查;不得在看到结果后补造阈值(除非标注为探索性);不得将稳定性指标转述为人类信心判定;不得创建 robustness-checker_modeler_decision.md;检查失败仅作为调整、回退或降级论断的证据,不授权 AI 自行决策。校验要求:每个主要最终论断都有支持性检查或明确局限,扰动可解释且可复现,基线与主模型比较保持指标兼容,集中度/退化风险在相关时重新审视,提交报告数字来源于摘要与实验产物。