SuperAPI AI 工具集

model-registry-patterns

通用与其它

查看项目

更新于 10-16 09:59

技能介绍

用途:为机器学习模型注册与发布提供可复用模式,重点解决版本管理、晋升门禁、champion/challenger 对比与治理文档。

主要能力:

  1. MLflow 注册:用 infer_signature 记录签名,记录验证集 AUC/F1/MCC、训练数据集 URI 与 SHA256、git commit 等血缘参数,并以 registered_model_name 注册。
  2. Staging 门禁与生产晋升:在 Staging 加载候选版本,在留出集上评估,AUC/F1 低于阈值则归档,通过则 transition_model_version_stage 晋升 Production(archive_existing_versions=True),并 set_registered_model_alias 设置 champion。
  3. Champion/Challenger:用 @champion、@challenger 别名加载模型,做影子对比,返回双方 AUC、预测一致率与是否晋升(challenger_auc > champion_auc + 0.005)。
  4. 模型卡:用 huggingface_hub 的 ModelCard/ModelCardData 生成含预期用途、超出范围、评估指标、子群体表现、训练数据与已知局限的文档。
  5. Webhook CI:FastAPI 接收 MLflow 注册表事件,当 to_stage 为 Staging 时调用 GitHub Actions workflow dispatch 触发评估。

使用方式:需配置 MLflow tracking URI(如 http://mlflow-server:5000)、MlflowClient,以及 GitHub Token 等凭据;命令与接口调用按资料中的代码结构执行。

适用场景:需要可审计、可回滚、带门禁的模型发布流程。

限制与注意:资料未提供具体依赖版本、阈值取值建议以外的参数、部署环境要求或收费信息。反模式包括:无模型卡即晋升、删除旧版本(应归档)、仅用版本号硬编码而不使用别名、注册时不记录数据集血缘。