SuperAPI AI 工具集

threat-list

安全与审计

查看项目

更新于 10-15 21:52

技能介绍

用途:threat-list 用于对新遇到的 ML 系统、数据集、API、模型发布、智能体或数据管道执行一次固定的失效模式排查。产物是一份简短备忘录:对清单中每一项,说明是否适用于该系统、为什么(哪个接口、访问级别或数据流使其成为可能)、最现实变体的可行程度,以及是否值得研究。零线索也是合法结论。做法源自 Carlini 在 Latent Space 播客(约 00:53)的描述:维护一份可能出问题的坏情况清单,对每个新系统逐项检查,接受多数检查结果为空白。清单位于 references/checklist.md,执行前需先阅读。

运行前需先明确:系统是什么(模型、数据集、服务 API、带工具的智能体、训练管道或检索栈);谁控制什么(谁训练、谁服务、谁供数据、谁能查询、以何种访问级别,如仅查询输出、logits 或概率、权重、训练数据);暴露的接口及其限制(速率限制、记录字段、返回字段、文件或 URL 摄入、工具调用);重要资产(权重、训练数据、用户数据、系统提示、下游动作)。若未知,需说明哪些未知并照常运行,同时标记依赖缺失事实的条目。

执行:对清单每项按顺序写一行,列包括 Item、Applies?、Why(接口、访问、数据流)、最现实变体与大致成本、已知先前工作、Worth a look?。规则:区分目标、技术与假设的访问级别;优先看实际变体;不因看似不可能而跳过;不声称新颖性,'none known' 只表示未找到。

输出:完整表格;最多两条线索,每条给出使其可行的关键观察和第一个可确认或否定的低成本实验;若均不适用,一句话说明,不得编造线索;当线索真实时给出披露说明,判断缺陷是否可由系统所有者修补,以决定报告与公开的速度。

限制:该技能只做分析,不运行攻击、不以对抗方式查询生产系统、不联系供应商。