用途:在架构确定后或定义生产控制时,运营生产级 ML、LLM、RAG 与智能体系统,聚焦部署、发布、监控、回滚与治理,而非数据科学、提示工程或检索设计本身。
主要能力:提供运行时模式决策树(数据移动、推理、LLM/RAG、工具型智能体、多区域合规);发布工件定义(模型/提示版本、负责人、回滚目标、评估报告、运行手册);可观测性(OpenTelemetry + Prometheus/Grafana,固定所发出的 GenAI 语义约定 schema 版本);评估即 CI 门禁;漂移检测与受控重训练;注册表按别名(@champion/@challenger)晋升而非阶段;特征存储一致性;成本分摊;安全与治理清单。
使用方式:默认工作流为选择运行时模式、定义发布工件、先埋点、加策略门禁、渐进发布(影子→金丝雀→放量,含自动回滚条件)、闭环告警与重训练。金丝雀晋升门禁需预先定义离线阻断项、影子检查、金丝雀队列、观察窗口、回滚触发与责任人。附带脚本 scripts/drift_check.py(PSI/KL,ALERT 退出 1,输入无效退出 2)与 scripts/deployment_smoke_test.sh(OpenAI 兼容端点冒烟验证,失败即关闭)。
适用场景:生产部署与迁移、监控告警、事故运行手册、合规与隐私治理、多模态系统运营、智能体运行时运维。
限制:EDA、特征工程、训练、SQL 转换属 ai-ml-data-science;提示策略属 ai-prompt-engineering;评估设计属 ai-evals;微调属 ai-llm;检索架构属 ai-rag;推理底层优化属 ai-llm-inference;智能体架构属 ai-agents。TGI 处于维护模式,不建议新部署使用。监管时间线需查阅官方文本,不能凭记忆。具体价格、平台与效果资料暂未提供。