用途:在本地运行第三方 Inspect AI 评测前,对其做只读安全审计,判断是否存在恶意主机侧代码、不受控外部资源或沙箱逃逸风险。
主要能力:审计覆盖八个类别——主机侧代码执行、沙箱配置、运行时外部资源获取、智能体权限与提示词、资源耗尽、凭据泄露、来源与完整性、有效性(仅标记不深查)。产出 agent_artefacts/security_audits/<eval_name>/SECURITY_AUDIT_REPORT.md,含结论与 file:line 证据;报告必答三项检查:是否有运行即执行的恶意代码、是否拉取不受控外部文件、是否存在逃逸到主机的风险。结论分 safe、safe with caveats、unsafe。
使用方式:目标可以是 GitHub URL(用 gh api 读取,不克隆)、本地路径或 src/inspect_evals/ 内目录。创建输出目录与 NOTES.md,列出文件树,按类别阅读实际代码(不信任 README),用 grep 搜索 subprocess、eval、pickle 等模式,逐一记录证据。全程只读,不运行评测、不克隆仓库、不改报告目录外文件。
限制:属安全审计而非有效性验证;类别 8 的评测质量问题不在范围内。报告未提供具体安装命令、收费或价格信息。