用途
ml-ops 是一个面向机器学习生产化工程(MLOps)的技能,用于在模型实验完成后,将其可靠地部署到生产环境并持续运维。它把软件工程纪律应用到 ML 工作负载上,覆盖模型部署、实验追踪、特征存储、漂移监控、A/B 测试和版本管理等环节。
主要能力
-
ML 流水线设计:将流水线拆分为数据接入、验证、预处理、训练、评估、注册等离散可测试阶段,并给出编排工具选择:Python 原生简单 DAG 可选 Prefect、Apache Airflow;Kubernetes 原生可复现可选 Kubeflow Pipelines、Argo Workflows;托管少运维可选 Vertex AI Pipelines、SageMaker Pipelines;Git 驱动代码优先可选 ZenML、Metaflow。强调训练前定义 go/no-go 门槛,未超过基线或当前生产模型的模型不应进入注册表。
-
实验追踪:记录每次训练运行的参数(超参数、数据版本)、指标(损失曲线、评估指标)、工件(模型权重、图表)和环境(库版本、硬件)。提供 MLflow 示例代码,强调将数据版本或数据集哈希作为参数记录,否则无法复现;在同一留出测试集上比较运行,绝不在测试集上调参。
-
模型部署与灰度发布:先选择服务基础设施(REST 微服务 FastAPI + Docker、托管端点 Vertex AI/SageMaker、批量预测作业、服务端功能开关驱动),并给出灰度发布阶段:v1 全量 → v2 影子 0% 服务、100% 影子对比 → v2 金丝雀 5% 流量监控错误率与延迟 → 分阶段 25%、50%、100% 并配置自动回滚触发条件。部署前需定义回滚触发条件。
-
模型监控:监控输入数据、预测输出和业务结果三层。输入特征分布漂移可用 PSI、KS 检验、卡方检验;预测分布漂移用 PSI;业务结果用延迟反馈回路。给出 PSI 阈值:小于 0.1 稳定;0.1–0.2 中度漂移需调查;大于 0.2 显著漂移,重训或升级处理。建议按小时或按天调度监控作业,而非逐次预测监控。
-
特征存储:将特征计算与模型训练、服务解耦,包含离线存储(Parquet/BigQuery,用于训练和批量推理)与在线存储(Redis、DynamoDB,用于实时服务)。关键保证是时间点正确性,训练特征只能使用标签时间戳之前可用的数据,防止目标泄漏。特征命名约定为
<entity>:<feature_name>,特征定义需在注册表中版本化(Feast、Tecton、Vertex Feature Store),不得在训练脚本中硬编码特征变换。 -
生产环境 A/B 测试:测试前定义主业务指标和护栏指标,计算所需样本量(通常功效 80%、显著性水平 5%),随机分配用户或会话并保持粘性分配,运行完整业务周期(至少 1–2 周覆盖周季节性)。流量拆分可选负载均衡路由、用户 ID 哈希、实验平台(Statsig、Optimizely、LaunchDarkly)。停止准则:不要每天偷看 p 值,预先注册最短运行时间,仅在护栏指标被突破等明显有害结果时提前停止;如需提前停止可用序贯检验方法(mSPRT)。
-
模型与数据集版本管理:使用 DVC 跟踪数据集,给出
dvc add、git add、git commit、dvc push、git checkout、dvc pull等命令示例。模型注册表生命周期为 Staging → Production → Archived,回滚时从 Archived 恢复上一版本。血缘追踪应关联训练数据集版本、流水线代码提交、特征定义版本和评估报告。
使用方式
当用户部署训练好的模型到生产服务端点、为训练运行搭建实验追踪、实现金丝雀或影子部署、设计或集成特征存储、搭建数据漂移/预测漂移/模型退化监控、在生产中运行模型 A/B 或冠军/ challenger 测试、用 DVC 或模型注册表对模型/数据集/流水线做版本管理、构建或迁移自动化训练/重训流水线时触发本技能。首次激活时回应以 🧢 emoji 开头。技能还包含首次激活时的伴随技能检查:运行 ls ~/.claude/skills/ ~/.agent/skills/ ~/.agents/skills/ .claude/skills/ .agent/skills/ .agents/skills/ 2>/dev/null,与 frontmatter 中 recommended_skills 比对,对缺失项提示一次并提供安装命令 npx skills add AbsolutelySkilled/AbsolutelySkilled --skill <name>;若 recommended_skills 为空或全部已安装则跳过。
适用场景
适用于已有候选模型之后的生产化环节:模型服务部署与灰度、实验追踪、特征存储、漂移监控、生产 A/B 测试、模型与数据版本管理、自动化训练/重训流水线。
限制
不适用于核心模型研究、架构设计或超参数搜索(应使用 ML 研究类技能,MLOps 从候选模型存在之后开始);也不适用于非 ML 服务的通用可观测性(日志、指标、追踪),应使用后端工程类技能。参考文件 references/tool-landscape.md 包含平台对比细节,仅在需要选择或比较 MLOps 平台时加载,因其较详细会消耗上下文。