用途
该技能用于为企业的 AI 模型部署搭建一个可信的登记记录体系(system of record),统一管理模型产物、提示词、适配器和评估证据。适用于以下场景:为组织建立集中式模型登记中心;定义模型产物的元数据标准;构建模型晋升到生产的审批工作流;实施模型退役的生命周期策略;为 AI 系统的合规审计做准备。
核心原则
- 可追溯性:每个生产模型都映射到源代码、数据快照和评估结果。
- 可复现性:构建过程是确定性的,依赖项版本固定。
- 策略驱动晋升:关键安全检查不允许人工绕过。
- 生命周期卫生:过期、存在漏洞或无人负责的模型会被自动退役。
前提条件
- 已部署 MLflow Tracking Server 或 Weights & Biases 实例。
- 用于存放模型产物的对象存储(S3、GCS 或 MinIO)。
- 可访问登记 API 的 CI/CD 流水线。
- OPA 或类似策略引擎,用于治理检查。
- 用于存放策略定义和晋升脚本的 Git 仓库。
MLflow 登记中心设置
文档给出了安装命令和启动命令,以及 docker-compose 配置:
pip install mlflow[extras] psycopg2-binary boto3
mlflow server \
--backend-store-uri "${MLFLOW_BACKEND_STORE_URI:?Set a secret-backed PostgreSQL URI}" \
--default-artifact-root s3://mlflow-artifacts/models \
--host 127.0.0.1 \
--port 5000 \
--serve-artifacts
Compose 示例使用 ghcr.io/mlflow/mlflow:2.12.0 和 postgres:16-alpine,容器的服务在内部绑定 0.0.0.0,但主机仅发布回环地址。文档明确说明:这仅是本地开发示例,生产环境需要 TLS、认证、限定范围的存储凭据和登记写权限;数据库凭据应从密钥提供方获取,不得提交到仓库。登记标签和调用方提供的审批人姓名属于可变元数据,不是签名授权;示例代码不调用 OPA,也不强制执行审批流,必须在受保护的服务中由已认证审批人执行决策,并保留不可变的审计记录后,才允许任何状态变更。
必需元数据模式
通过 Pydantic 定义 ModelMetadata,字段分组如下:
- 身份:name、version、checksum(SHA-256)、storage_uri。
- 血缘:base_model、fine_tune_method、training_dataset、training_date、source_commit(Git SHA)。
- 评估:eval_datasets、eval_report_uri、quality_score、safety_score。
- 治理:license(SPDX)、allowed_use_cases、prohibited_use_cases、risk_rating、security_controls。
- 归属:owner、backup_owner、escalation_contact、team。
- 生命周期:state、created_at、approved_at、approved_by、expires_at。
枚举包括 LifecycleState(draft/candidate/approved/deprecated/retired)和 RiskRating(low/medium/high/critical)。
注册与晋升
注册脚本先做 Pydantic 校验、计算产物校验和、记录参数与指标、保存元数据 artifact,并说明需先使用 flavor 的 log_model API 打包真实模型并取得其 URI,示例中注册处为占位并以 NotImplementedError 提示。
晋升脚本校验状态转换合法性(draft→candidate→approved→deprecated→retired 等),晋升到 approved 时要求 quality_score ≥ 0.85、safety_score ≥ 0.95;随后写入 state 和晋升时间、审批人等标签,并调用旧版 stage 转换 API(文档注明该 API 自 MLflow 2.9 起弃用,建议新集成使用显式别名加环境访问控制)。
审批流程:CI 创建注册请求 → 安全检查(产物扫描、依赖扫描、来源)→ 上传评估包(质量、毒性、越狱、偏见、延迟、成本)→ 按策略要求平台、产品、安全三方审批 → 基于签名的决策记录晋升到阶段/生产。
生命周期
状态表规定:draft 仅限开发;candidate 可进入 Staging;approved 可在所有环境使用并允许新用法;deprecated 仅保留既有使用、阻止新用法;retired 仅归档以供审计。
自动化脚本会:将 approved 超过 90 天未续期的模型自动降级为 deprecated;将 deprecated 超过 30 天的模型自动退役并转为 Archived;标记 14 天无活动的 draft。文档强调该循环只更新登记元数据,不会停止服务、撤销别名或证明消费者已迁移,退役前需规划并验证这些动作,并应串行化晋升、评估与具体产物摘要绑定的失败关闭策略证据;示例分数阈值仅为说明,不构成通用安全认证。
OPA/Rego 治理策略示例
提供 Rego v1 示例 deny 规则:缺少 SBOM URI;存在未解决的严重 CVE 时禁止晋升 approved;提示词变更后未重新评估;质量分低于 0.85;高风险模型审批少于 2 个。文档说明生产准入服务须先拒绝格式错误或缺失的扫描、评估、审批输入,且 sbom_uri 需纳入元数据模式(当前最小模式未包含)。
审计准备
需保留不可变记录:谁在何时批准、执行了哪些策略检查、授予了哪些例外、每个客户请求时间窗口由哪个模型/版本服务。
限制与排错
文档列出常见问题及处理:注册失败时检查服务器连通性和存储权限;被策略阻止时查看 OPA 拒绝信息;模型未自动退役时检查 CronJob;版本重复时增加锁;缺少评估证据时重跑评估并重新注册。
相关技能
sbom-supply-chain、policy-as-code、llm-fine-tuning、llmops-platform-engineering、ai-sre-incident-response。