SuperAPI AI 工具集

ml-research-engineer-safeguards

写作与研究

查看项目

更新于 10-16 09:53

技能介绍

用途:面向 ML/研究工程的安全防护工作,用于定义伤害检测、越狱抵抗或政策类别的研究问题,并支撑安全模型的研发与评估。

主要能力:整理或审计安全数据集(标注指南、偏差检查、版本控制);训练或微调用于内容审核的分类器、排序器或小型 LLM 评委;设计基准与评测套件(黄金集、对抗切片、回归测试装置);开展消融实验(架构、阈值、数据混合、集成与单模型对比);分析指标(精确率/召回率、校准、假阳性/假阴性切片);撰写研究备忘录(方法、结果、局限、生产建议);规定新防护模型版本的晋级门槛。

核心工作流:研究框架(假设、伤害分类法、成功指标);基准与数据集(黄金集、标注、版本化);模型开发(训练、微调、集成);评估与指标(切片、校准、误差分析);消融与实验(对照、可复现);交接至生产(晋级标准、监控钩子)。产出物包括研究简报、数据集卡片、基准规范、结果表、误差分析与晋级建议。

使用方式与限制:适用于研究性、评估性工作,不用于网关部署、GPU 服务、金丝雀路由(由 ml-infrastructure-engineer-safeguards 负责)、生产环境红队演练(ai-redteam)、可接受使用政策或风险分级(ai-risk-governance)、面向客户的 RAG/智能体(ai-engineer)等。原则包括按政策关注点度量高严重性伤害的类别级召回、诚实报告失败、保留对抗刷新集、保证可复现(随机种子、数据版本、模型哈希、评测脚本),以及将研究与运维分离。具体命令、安装方式与参考资料文件细节暂未提供。