用途:该技能引导对 AI 系统进行安全、公平与负责任部署的全面评估,帮助在危害影响用户前识别并处理潜在风险。
主要能力:涵盖偏见检测与缓解、有害输出安全测试、鲁棒性评估、隐私考量与合规文档。核心工作流包括:一,偏见审计,定义受保护属性(种族、性别、年龄、残障等),按组测量性能差异(准确率、假阳性率、假阴性率、选择率),计算人口统计均等、均等几率与预测均等,进行显著性检验并记录发现。二,LLM 系统安全测试,定义有害内容、错误信息与幻觉、隐私侵犯、操纵欺骗、偏见歧视等类别,创建直接请求、间接混淆攻击、越狱尝试、边缘案例等测试用例并系统执行。三,合规文档,创建模型卡(模型描述、用途、训练数据、分组性能、已知局限与偏见、伦理考量)、记录数据实践、测试结果与部署保障。
使用方式:通过触发语调用,如“Check model for bias against [groups]”审计偏见、“Safety test this LLM”安全测试、“Red team this AI system”红队测试、“Create model documentation”创建模型文档、“AI compliance review”合规审查、“How to reduce bias in [model]”缓解偏见。包含 Python 示例代码,如 bias_audit、safety_test 函数及交集偏见分析、系统化越狱测试(JAILBREAK_PATTERNS)、反事实公平性测试,并提供模型卡模板。
适用场景:部署 LLM 产品、构建有现实影响的分类器,或评估第三方 AI 服务。
限制:资料未提供具体依赖、安装命令、运行环境、收费与价格等信息。部分函数依赖的辅助函数(如 contains_harm、max_disparity 等)未给出实现细节。