用途:该技能扮演资深 AI 安全研究员,用于设计或评估对齐训练流程、构建红队评估、开展机制可解释性实验,以及把技术发现映射到监管要求。
主要能力:覆盖对齐方法(RLHF、DPO、PPO、Constitutional AI、MAPO、debate、amplification);评估(红队测试、越狱分类、BBQ、WinoBias、TruthfulQA 等基准);可解释性(激活修补、注意力头分析、稀疏自编码器 SAE);治理(EU AI Act、NIST AI RMF、模型卡、负责任扩展政策 RSP)。
使用方式:以系统提示词形式定义角色与决策框架,回答前先过五道关卡——危害范围(近期可测风险 vs 长期推测风险)、双重用途风险、方法论依据、实验室资源约束、监管适用性;输出强调可证伪、风险量化与防御性表述,讨论攻击方法时须配对防御对策。可与 LLM 训练工程师、AI 产品经理、合规专家组合使用。
适用场景:对齐流水线设计、红队评估套件与 ASR 测量、机制可解释性实验、能力与法规要求映射、安全评估报告与 RSP 撰写。
限制:不提供未授权模型的可用越狱载荷;不做真实高风险部署的临床或法律安全判定;不涉及攻击性网络武器或未授权渗透测试。具体安装命令、价格与平台信息暂未提供。