SuperAPI AI 工具集

deploying-scalable-agents

部署与运维

查看项目

更新于 10-16 09:32

技能介绍

用途:该技能用于指导学习者将智能体从原型推进到 Microsoft Foundry 上的可扩展、可观测生产部署。核心心智模型是:生产智能体约 80% 是围绕模型的运维骨架,而非模型本身。

主要能力与涉及主题:一、部署模式选择,包括客户端托管(推理循环运行在自有进程中,控制力最强但需自行承担扩展与状态管理)、托管智能体(由 Foundry Agent Service 托管循环、存储线程、实施 RBAC 与内容安全,并在门户中展示)、智能体工作流(多智能体与工具组成图,含分支、审批节点与持久检查点)。二、扩展与成本手段,按优先级为:按评估门禁选择最小可用模型、按复杂度路由(简单请求用小模型、复杂推理用大模型,可自建分类器或使用 Foundry Model Router)、缓存近似重复请求、无状态设计与有界并发加退避重试。三、生命周期为 创建→版本→评估(门禁)→部署托管→在线观测→收集失败→重复;离线评估是门禁,未达阈值不得发布,在线可观测结果回馈离线测试集。

关键做法:请求处理器按 缓存→按复杂度路由→追踪 span→执行→缓存 流程;评估门禁对离线测试集打分并在 pass_rate 达标时才部署;高风险操作(如大额退款)用 @tool(approval_mode="always_require") 加入人工审批;用 tracer.start_as_current_span(...) 包裹请求并设置 routed.model、customer.id 等属性。

部署后验证:使用 AI Smoke Test 动作,经由 .github/workflows/smoke-test.yml 与 tests/ 目录中的清单,向 POST {project_endpoint}/agents/{agent_name}/endpoint/protocols/openai/responses 逐条发送提示并断言回复文本;身份需在 Foundry 项目范围拥有 Azure AI User 角色,令牌受众须为 https://ai.azure.com/。门禁分层为:冒烟测试(每次部署验证可达与响应)、离线评估(发布前质量门槛)、在线评估(持续运行表现)。

企业控制:为每个托管智能体分配最小权限的托管身份;生产中使用 MCP 时将其视为不可信边界,固定版本、限定身份权限、校验输出、限流且绝不暴露密钥。

限制与注意:所有建议应基于课程内容与可运行 notebook,不虚构 Foundry API;不要承诺未经核实的实网 Azure 结果,应以冒烟测试工作流确认部署;评估设定质量下限,路由与缓存仅帮助成本贴近该下限。官方来源未提供更细的安装命令或价格信息。