该技能围绕机器学习基础设施与模型服务系统，整理领域模式、失败模式与反模式，供系统设计参考。
用途与范围：帮助设计、评审 ML/AI 服务与训练系统，覆盖从推理服务、特征工程、训练流水线到模型发布与实验的完整链路。
主要能力（按主题分段）：
- 模型服务模式：在线推理（同步请求、关注 P99 尾延迟与冷启动）、批量推理（预计算并按时刷新、关注新鲜度与批次完整性）、流式推理（消费 Kafka/Kinesis 事件、关注消费延迟与背压）；并比较 Model-as-a-Service 与内嵌模型的取舍。
- 特征工程：特征存储的在线库（低延迟点查）与离线库（历史批量读取）；特征新鲜度与静默落后的风险；训练-服务偏斜的成因与缓解；训练数据的时点正确性以防数据泄漏。
- 训练流水线：训练 DAG 的步骤粒度、缓存、幂等与重试；可复现性需固定的数据、代码、依赖、随机种子与硬件；实验追踪与模型注册表及其交接处的失败。
- 分布式训练与 GPU 管理：数据并行、模型并行与流水线并行；通信开销与容错；GPU 调度中的抢占、Gang 调度与装箱；时间分片、MIG、MPS 的隔离与利用率取舍；可抢占实例用于训练的检查点要求。
- 版本与发布：模型金丝雀（需观察预测质量，周期更长）、影子模式（无法测用户行为指标）、冠军/挑战者（离线与在线指标存在差距）、模型回滚比软件回滚更难。
- A/B 测试：样本量、时长、多重比较校正、序贯检验；用功能开关做模型路由；护栏指标与自动关停；ML 实验与产品实验的交互效应。
使用方式与限制：资料未提供具体安装命令、接口调用或代码示例，仅给出概念性模式与设计判断。资料未说明定价、平台支持或性能数据；相关事实暂未提供。