用途
mle-workflow 是一个面向生产环境的机器学习工程工作流技能,旨在将模型工作转化为具备清晰数据契约、可重复训练、可度量质量门禁、可部署工件和运营监控的生产级 ML 系统。它适用于规划或审查生产 ML 功能、模型刷新、排序系统、推荐系统、分类器、嵌入工作流或预测流水线;将 Notebook 代码转换为可复用的训练、评估、批推理或在线推理流水线;设计模型晋升标准、离线/在线评估、实验跟踪或回滚路径;调试由数据漂移、标签泄漏、特征过期、工件不匹配或训练与服务逻辑不一致引起的故障;以及添加模型监控、金丝雀发布、影子流量或部署后质量检查。
主要能力
该技能提供了一套结构化的 MLE 工作流框架,包括:预测契约定义(明确预测目标、决策负责人、输入输出模式、延迟要求、服务模式、回退行为、人工审核路径及隐私要求);数据契约锁定(实体粒度与主键、标签定义与时间戳、特征时间戳与新鲜度 SLA、时点连接规则、训练/验证/测试/回测划分策略、必需列与允许空值、PII 字段、数据集版本快照);可复现流水线构建(类型化配置、依赖固定、随机种子、记录数据集版本与代码 SHA、配置哈希、指标及工件 URI);指标与错误经济学(基于失败成本选择指标,使用混淆矩阵讨论具体假阳性与假阴性,根据错误成本权衡精确率与召回率);特征假设(从分离理论出发设计特征,考虑泄漏风险、噪声标签、类别不平衡、缺失值、异常值和相关特征);错误分析循环(将错误聚类并追溯至更好标签、更好特征、更好阈值/配置或更好产品回退);观察台账(记录迭代变更、指标移动、决策、权衡、教训和回归测试);以及十项 MLE 任务模拟作为覆盖检查。
使用方式
该技能建议在触及模型代码前,先将工作压缩为一个可审查的迭代契约(Iteration Compact),包含目标、利益相关者、决策负责人、成功指标、护栏指标、错误预算、不可接受错误、假设、约束、标签与数据快照、基线、候选信号、阈值计划、评估切片、已知风险、下一实验和回滚方案。对于模糊、高影响或指标繁重的任务,使用决策脑循环:从决策而非模型出发,命名改变下游行为的动作,将模糊性转化为假设,研究先验工作,用(概率、置信度)乘以(成本、严重性、重要性、影响)评分选择,考虑对抗行为与分布偏移,偏好能减少最重要错误的最简变更。核心工作流包括:定义预测契约、锁定数据契约、构建可复现流水线,以及后续的评估、部署、监控与回滚环节。
适用场景
适用于排序、搜索、推荐、分类器、预测、嵌入、LLM 工作流、异常检测和批量分析等系统。该技能明确不强制单一架构适用于所有场景,不假设每个模型都有监督标签、在线服务、特征存储、PyTorch、GPU、人工审核、A/B 测试或实时反馈。当数据契约、基线、评估脚本和回滚说明足以使变更可审查时,不建议引入重型 MLOps 机制。当项目缺乏标签、结果延迟、切片定义、生产流量或监控归属时,应明确写出假设。
限制
资料未提供具体的安装命令、收费信息、价格、平台支持范围或确切的使用步骤细节。该技能依赖多个相关技能(如 python-patterns、python-testing、pytorch-patterns、eval-harness、ai-regression-testing、database-migrations、postgres-patterns、clickhouse-io、deployment-patterns、docker-patterns、security-review 等),但资料未说明这些依赖的获取方式或版本要求。十项任务模拟中的具体输出要求属于方法论指导,而非可执行代码。