SuperAPI AI 工具集

leakage-adversary

数据与分析

查看项目

更新于 10-15 21:38

技能介绍

用途:对机器学习数据集与特征管道做红队式审计,主动查找目标泄漏、时间泄漏、实体组泄漏、划分泄漏、连接泄漏与预处理泄漏,防止模型离线表现优异但上线失败。

主要能力:把模糊请求转化为明确决策(go | fix-first | stop | proceed-with-risk | needs-owner-review),并给出责任人、证据、假设与行动阈值;区分机械检查与专家判断,便于复核;将发现分类为 stop、fix-first、monitor、accepted risk 或 owner decision;产出泄漏攻击报告、特征风险表、划分风险表、安全评估建议与阻塞项清单。

使用方式:先检查本地工件(数据抽取、schema、notebook、SQL、管道配置、模型报告、工单与既往决策),再运行确定性脚本:

python scripts/split_leakage_probe.py path/to/train.csv path/to/eval.csv --key entity_id --target label python scripts/checklist_score.py path/to/checklist.json --strict

工作流:重述决策时可得信息;探查特征、连接、编码器、聚合与预处理是否含结果后信息;检查划分逻辑的时间渗透、组重叠、实体重复与近重复;复核异常强的特征与验证性能跳变;返回带严重度、证据与更安全划分或特征替代方案的发现。输出固定八段:Problem、Inputs、Checks performed、Findings、Decision、Risks、Next actions、Artifacts。修改技能包后运行 python scripts/quick_validate_skill.py . --strict。

适用场景:提交工程或建模投入前的结构化审计;本地工件存在特征时间戳晚于目标、同一用户同时出现在训练与测试、划分前做全局预处理、泄漏性聚合等红旗;需要可复现交接工件时。

限制:不得覆盖原始数据集、notebook 或生产配置,审计输出写入新文件或标准输出;当红旗未解决时拒绝为 go 决策背书;具体收费、价格、平台支持与效果数据暂未提供。