SuperAPI AI 工具集

ai-engineering

智能体与模型

查看项目

更新于 10-24 16:17

技能介绍

该技能面向 AI 与机器学习工程,目标是设计、训练、优化、部署和监控生产级机器学习模型及智能体系统,并在流程中纳入严格验证、延迟工程和伦理护栏。

核心原则:每个 ML 方案都必须优于朴素基线,保证训练集与测试集相互隔离,并满足严格的生产延迟和公平性预算。

核心不变量:

  1. 严格训练与测试隔离:预处理的 scaler、encoder 和 tokenizer 只能在隔离流水线内用训练折拟合,以消除数据泄漏。
  2. 100ms 以内推理预算:同步用户端点需通过量化(ONNX/TensorRT/GGUF)、引擎优化或连续批处理达到 p99 < 80ms。
  3. 先基线后复杂:在进入深度网络或复杂集成之前,先与朴素基线(多数类/均值)及简单线性模型比较。
  4. 人口统计均等与偏差审计:生产候选模型需在人口统计切片上通过四分之五差异影响测试(比值 ≥ 0.80)。
  5. 持续漂移可观测:生产模型需输出数据漂移指标(KS 检验/群体稳定性指数)和概念漂移告警,以触发自动重训练。

流程架构包含四个阶段:数据准备与无泄漏流水线(交叉验证、特征隔离);模型训练与微调(基线、LoRA/QLoRA、树集成);偏差、公平性与伦理审计(差异影响、SHAP 归因);生产服务与优化(ONNX/vLLM、100ms 以内延迟、灰度)。

分步步骤: 步骤 1:需求与数据卫生检查。评估目标指标、类别平衡,建立可复现验证划分。注意时间依赖:有时间维度时按时间切分,否则使用分层 k 折交叉验证。原因是在时间序列上随机切分会导致前视泄漏和虚假置信。 步骤 2:模型训练与架构选择。先拟合朴素基线,再进入梯度提升树或微调神经架构(LLM 用 LoRA/PEFT)。对 LLM,对所有注意力层和 MLP 投影层应用 LoRA,α = 2×r,使用 4 位 NF4 量化。检查项:已建立简单基线;折间交叉验证方差在可接受范围(<5%);已检查过拟合诊断(训练损失与验证损失收敛);使用贝叶斯优化系统调参。 步骤 3:偏差、可解释性与鲁棒性审计。评估子群体公平性,计算 SHAP 特征归因。执行四分之五规则(选择率比值 ≥ 0.80),对高风险决策计算局部特征归因。 步骤 4:低延迟服务与灰度发布。导出到 ONNX 或 vLLM,封装为异步 API 服务,启动 10% 灰度部署。跟踪 p99 延迟、群体稳定性指数(PSI)和灰度组错误率。

防借口护栏:不能用准确率 98% 代替混淆矩阵分析,必须做 PR-AUC、F1 和混淆矩阵;不能先做预处理再切分,必须零数据泄漏;不能因准确率达标就跳过偏差检查,公平性审计是发布门槛;400ms 延迟不算快,交互端点需 p99 在 100ms 以内。