SuperAPI AI 工具集

ml-ops

部署与运维

查看项目

更新于 10-16 06:24

技能介绍

用途:该技能在部署 ML 模型到生产、搭建模型监控、对模型做 A/B 测试或管理特征存储时触发;触发场景还包括为训练运行搭建实验追踪、实现金丝雀或影子部署、监控数据/预测漂移、用 DVC 或模型注册表做版本管理、构建自动化训练/重训练流水线。不适用于核心模型研究、架构设计与超参搜索,也不用于非 ML 服务的通用可观测性。

主要理念:可复现性不可妥协;训练流水线自动化;不仅监控模型还要监控数据;一切皆版本化;把 ML 代码当生产代码对待。生命周期为实验→训练→验证→部署→监控→(漂移则重训练)。

主要能力:设计分阶段可测试的 ML 流水线并选择编排工具;用 MLflow 等做实验追踪(参数、指标、产物、环境);金丝雀/影子部署与回滚触发条件设定;输入数据、预测与业务结果三层监控(PSI、KS 检验、卡方);构建特征存储(离线/在线双路服务,强调时间点正确性防止标签泄漏);生产 A/B 测试的样本量、粘性分配与停止准则;用 DVC 做数据集版本管理与模型注册表生命周期。

限制与注意:资料未提供具体收费、价格或平台承诺;反模式包括训练服务偏差、无基线对比、开发期使用测试集、仅监控模型指标、手动部署、样本量不足的 A/B 测试。首次激活时会检查配套技能并用 npx skills add AbsolutelySkilled/AbsolutelySkilled --skill <name> 安装缺失项;平台对比需按需加载 references/tool-landscape.md。