mle-workflow

用途

mle-workflow 是一个生产级机器学习工程工作流技能，目标是把模型工作转化为具备明确数据契约、可复现训练、可衡量质量门禁、可部署产物与运维监控的生产 ML 系统。它适用于规划或评审生产 ML 功能、模型刷新、排序系统、推荐系统、分类器、嵌入工作流或预测流水线；也适用于将 notebook 代码转化为可复用的训练、评估、批量推理或在线推理流水线；以及设计模型晋升标准、离线/在线评估、实验追踪或回滚路径。此外，它可用于调试由数据漂移、标签泄漏、特征过期、产物不匹配或训练与服务逻辑不一致导致的故障，并添加模型监控、金丝雀发布、影子流量或部署后质量检查。

主要能力

该技能提供了一套结构化的 MLE 工作方法，包括：

范围校准：只使用适合当前系统的通道，不强制统一架构；不假设每个模型都有监督标签、在线服务、特征存储、PyTorch、GPU、人工审核、A/B 测试或实时反馈；当项目缺少标签、延迟结果、切片定义、生产流量或监控归属时，明确写出假设。
复用 SWE 表面：将 MLE 视为软件工程的一部分，多数 ECC SWE 工作流直接适用于 ML 系统，并对应到 MLE 用途，如产品能力/架构决策记录、仓库扫描/代码库入门/代码导览、计划/功能开发、TDD 工作流/Python 测试、代码评审/mle-reviewer、构建修复/PR 测试分析、质量门禁/测试覆盖率、评估工具/验证循环、AI 回归测试、API 设计/后端模式、数据库迁移/Postgres 模式/ClickHouse IO、部署模式/Docker 模式、金丝雀监控/仪表盘构建、安全评审/安全扫描、端到端测试/浏览器 QA/可访问性、基准测试/性能优化器、成本感知 LLM 流水线/令牌预算顾问、文档查找/搜索优先、Git 工作流/GitHub 操作/开源流水线、战略压缩/dmux 工作流。
十项 MLE 任务模拟：作为规划或评审 MLE 工作时的覆盖检查，包括 MLE-01 到 MLE-10，涵盖从模糊预测能力框定、指标目标与数据源定义、基线模型构建、特征生成、阈值与配置调优、错误分析、模型产物打包、在线服务或批量评分、模型发布与回滚，到生产模型运维与刷新。每项任务列出了精简 ECC 路径、所需输出和覆盖的流水线通道。
迭代紧凑文档：在接触模型代码前，将工作压缩为一份可评审的产物，包含目标、谁关心、决策负责人、模型改变的用户或系统行为、成功指标、护栏指标、错误预算、不可接受错误、可接受错误、假设、约束、标签与数据快照、基线、候选信号、阈值或配置计划、评估切片、已知风险、下一实验、回滚或回退等字段。
决策大脑：用于任务模糊、高影响或指标繁重时的循环，从决策而非模型出发，命名谁关心及原因，将模糊转化为假设，研究先例，用（概率、置信度）x（成本、严重性、重要性、影响）评分选择，考虑对抗行为、激励、选择性披露、分布偏移和反馈循环，偏好能减少最重要错误的最简单改动，并记录决策、证据、反论和下一步可逆步骤。
指标与错误经济学：从失败成本而非习惯选择指标，早期使用混淆矩阵，根据错误成本偏好精确率或召回率，仅在精确率/召回率权衡真正平衡且可解释时使用 F1，当排序质量比单一阈值更重要时使用 AUC 或排序指标，将延迟、吞吐量、内存和成本作为一等指标，与基线和当前生产模型比较，将真实世界反馈信号视为有偏差、滞后和覆盖缺口的延迟标签。
数据与特征假设：特征应来自分离理论，文本、分类字段、数值历史、图关系、新近度、频率和聚合是候选信号族而非自动特征；对每个特征族说明为何应分离结果以及如何泄漏未来信息；对噪声标签考虑裁决、标签置信度、软目标或置信度加权；对类别不平衡比较加权损失、重采样、阈值移动和校准决策规则；对缺失值决定缺失是否有信息、可插补或应弃权；对异常值决定裁剪、分桶、调查或保留；对相关特征检查是否冗余、不稳定或代理不可用未来状态；在错误分析显示基线失败原因可通过额外信号或容量合理修复前，不增加模型复杂度。
错误分析循环：在每次基线、训练运行、阈值变更或配置变更后，将错误分为假阳性、假阴性、弃权、低置信度案例和系统故障；按共享特征聚类错误；将模型错误与数据缺陷、标签模糊、产品模糊、埋点缺口和服务不匹配分开；将每个主要聚类追溯到四个动作之一：更好的标签、更好的特征、更好的阈值/配置或更好的产品回退；将每个重要错误保留为回归测试、评估切片、仪表盘面板或运行手册条目；将下一次迭代写为可证伪实验。
观察台账：在代码、PR、实验报告或运行手册旁保留紧凑的决策与证据轨迹，包含迭代、变更、为何重要、指标移动、切片移动、假阳性、假阴性、意外错误、决策、接受的权衡、捕获的教训、添加的回归、产生的债务、下一次迭代。

使用方式

该技能通过技能安装方式使用。推荐的最小安装命令为 --with capability:machine-learning，以保持核心代理表面与该技能一起可用。对于仅技能或代理受限的 harness，在目标支持代理的情况下，将 skill:mle-workflow 与 agent:mle-reviewer 配对使用。

核心工作流包括：

定义预测契约：在编写模型代码前捕获产品级契约，包括预测目标和决策负责人、输入实体、输出模式、置信度/校准字段和允许延迟、批量/在线/流式/混合服务模式、模型或特征存储或依赖不可用时的回退行为、高影响决策的人工审核或覆盖路径、输入/预测/标签的隐私、保留和审计要求。不要接受“改进模型”作为需求，将模型与可观察的产品行为和可衡量的验收门禁绑定。
锁定数据契约：每个 ML 任务都需要明确的数据契约，包括实体粒度和主键、标签定义、标签时间戳和标签可用延迟、特征时间戳、新鲜度 SLA 和时点连接规则、训练/验证/测试/回测拆分策略、必需列、允许空值、范围、类别和单位、不得进入训练产物或日志的 PII 或敏感字段、用于可复现性的数据集版本或快照 ID。首先防范泄漏，如果特征在预测时不可用或使用未来信息连接，则移除或移至仅分析路径。
构建可复现流水线：训练代码应能被另一位工程师在没有隐藏 notebook 状态的情况下运行，包括使用类型化配置文件或数据类存储所有超参数和路径、固定包和模型依赖、设置随机种子并记录任何非确定性 GPU 行为、记录数据集版本、代码 SHA、配置哈希、指标和产物 URI。

适用场景

该技能适用于排序、搜索、推荐、分类器、预测、嵌入、LLM 工作流、异常检测和批量分析等系统。它可用于规划或评审生产 ML 功能、模型刷新、排序系统、推荐系统、分类器、嵌入工作流或预测流水线；将 notebook 代码转化为可复用的训练、评估、批量推理或在线推理流水线；设计模型晋升标准、离线/在线评估、实验追踪或回滚路径；调试由数据漂移、标签泄漏、特征过期、产物不匹配或训练与服务逻辑不一致导致的故障；添加模型监控、金丝雀发布、影子流量或部署后质量检查。

限制

该技能不应强制一种架构适用于所有系统。不要假设每个模型都有监督标签、在线服务、特征存储、PyTorch、GPU、人工审核、A/B 测试或实时反馈。当数据契约、基线、评估脚本和回滚说明足以使变更可评审时，不要添加重量级 MLOps 机制。当项目缺少标签、延迟结果、切片定义、生产流量或监控归属时，必须明确写出假设。示例应视为可互换的脚手架，需替换为项目原生的指标、服务模式、数据存储和发布机制。

技能介绍

用途

主要能力

使用方式

适用场景

限制

相关技能