用途:为构建与审计生产机器学习系统提供规则集,聚焦经典/预测型 ML(表格、排序、视觉、预测、推荐)的完整生命周期:训练流水线、特征存储、模型注册表、服务化与漂移监控。不涉及 LLM 应用工程(提示、RAG、智能体、LLM 评测),也不涉及数据管道/数仓。规则依据 Google Rules of ML、ML Test Score 与 Hidden Technical Debt in ML Systems,每条规则说明原因,每个规则文件末尾附审计清单。
主要能力:两种使用模式。BUILD 模式按规则作为默认实践构建系统,先建流水线、指标与监控,再迭代模型;保证数据、特征、代码、配置、模型、环境可复现且版本化;保证训练/服务一致性。AUDIT 模式按各规则文件的审计清单逐项核查训练流水线、特征/服务路径、注册表与监控,以 ML Test Score(数据/模型/基础设施/监控)为评分骨架,结论需对照代码与流水线配置而非架构图。
规则索引:01 系统架构(模型只是小部分、训练与服务路径、特征存储、模型注册表、可复现性、隐藏技术债反模式);02 数据与特征(数据泄漏与标签泄漏、训练/服务偏斜、版本化、切分、PII 最小化);03 训练与实验(实验追踪、可复现、超参搜索、分布式训练与检查点、配置管理);04 评估与验证(离线指标与业务目标、基线、切片评估与公平性、验证门禁与回归阈值);05 部署与服务(打包、批/在线/流式服务、注册表晋升、金丝雀/影子/A-B、回滚、延迟吞吐);06 监控与漂移(数据漂移 PSI/KS、概念漂移、性能衰减、标签延迟、告警、重训触发);07 安全与治理(数据投毒、模型抽取/反演/成员推断、对抗输入、供应链、MITRE ATLAS、NIST AI RMF、模型卡、EU AI Act)。
严重度:CRITICAL(生产静默错误或可被利用,如数据泄漏、预测路径训练/服务偏斜、反序列化不可信 pickle、无回滚);HIGH(可能事故或不安全部署,如无漂移监控、无验证门禁、不可复现、无切片指标);MEDIUM(正确性/可维护性隐患);LOW(后期才显现的债);INFO(风格/文档)。发现格式含严重度、路径行号或流水线阶段、规则引用、证据、影响、修复与工作量,按严重度分组,CRITICAL 优先,末尾给出各级计数、ML Test Score 就绪度摘要与三项最高杠杆修复。
限制:资料未提供具体安装命令、代码示例、收费或平台信息;规则为工程实践指导,不构成对具体系统效果的保证。