SuperAPI AI 工具集

ml-failure-audit

办公与效率

查看项目

更新于 10-15 21:37

技能介绍

用途:当用户提供仓库、日志、W&B/MLflow/TensorBoard 导出、CI 产物、配置文件或报告,并要求诊断、go/no-go 决策或结构化输出时,使用该技能审计 ML 失败,不预设标题式解释为真。

主要能力:定位证据(仓库根、日志、指标导出、配置、测试定义、黄金值、输出 schema);对失败分类(模型/收敛信号与正确性、数据、配置、运行时、基础设施、指标策略信号分离);重算关键事实(失败指标/测试、通过检查、最终运行状态、训练计数器、指标值,并记录吞吐、相对误差、完成率、损失增量、token 数等派生值公式);追踪代码路径(指标/测试选择与比较方式,引用源文件、函数名或行片段);做出决策(真实 ML 回归、系统正确性 bug、基础设施/运行时问题、数据/配置问题、指标策略问题或不支持的声明);按任务 schema 写输出,无 schema 时写含证据、分类、计算、建议、验证检查的简明报告。

使用方式:可用辅助脚本快速首轮收集证据:python3 <skill_dir>/scripts/collect_failure_evidence.py --repo <repo-root> --logs <log1> <log2> --out <output.json>。该脚本通用,提取失败行、通过行、疑似指标行、配置/源码候选及上下文窗口,仅加速证据收集,不作最终诊断。详细审计清单与失败分类见 references/workflow.md,结构化 JSON 或文件交付见 references/output_guidance.md。

适用场景:ML CI 失败、实验回归、训练运行失败、黄金指标失败、遥测支撑的工作产物审计。

限制:除非用户明确要求,不运行昂贵 GPU 训练;提供本地检出时不克隆远程仓库;未与原始产物核对前不信任文字摘要;不因日志缺失推断 OOM、收敛、稳定性或成功;任务要求文件输出时必须创建文件而非仅在对话中回答。原始日志、遥测、配置与源码可信度高于报告、PR 文本、摘要或生成的 JSON。