SuperAPI AI 工具集

ai-lead-ops

智能体与模型

查看项目

更新于 10-16 04:56

技能介绍

用途:用于搭建和管理 AI 平台运营与生产服务可靠性,覆盖 LLM 功能的 SLA/SLO 定义、AI 事故评审与复盘、模型/提示词/索引的分层发布门禁、AI 单元经济(每会话成本、每功能 token)追踪、发布前红队与评测门禁、跨工程/研究/风险/产品的团队节奏,以及 AI 供应商关系、合同与比选。

不适用:实现记忆存储或上下文打包(ai-memory-developer / ai-context-engineer)、构建 RAG 管道或智能体工具(ai-engineer)、制定企业 AI 政策或法规映射(ai-risk-governance)、通用网络安全测试(cybersecurity)、带待办清单的 token/成本改进路线图(ai-token-improvement-plan-engineer)、商业/企业 AI 方案架构(applied-ai-architect-commercial-enterprise)、垂直 AI 产品工程管理与小组路线图(engineering-manager-vertical-ai-products)。

主要能力与工作流:一是运营模型与节奏,含每日 AI 运营站会、每次发布的模型/提示词变更评审、每周成本评审、双周风险与安全同步、季度容量规划,并定义 RACI(模型、提示词、索引、评测套件、值班归属)。二是发布治理,生产晋级清单包含金标与安全集评测回归通过、二级以上用例红队签字、模型卡/变更日志更新、带错误与成本监控的灰度、回滚流程测试(固定旧提示词与模型版本)、面向客户可见行为变更的沟通计划。三是 SLO、事故与可观测性,示例 SLI 含可用性、p95 端到端时延、质量代理指标(点踩率、升级率)、安全(发布后策略违规率)、成本(每成功会话美元);AI 事故类型含有害输出、日志 PII 泄露、检索跨租户泄露、智能体失控循环、供应商中断。四是成本与容量,按模型、功能、租户追踪 token,设置 80/100/110% 预算与告警,通过路由、缓存、上下文工程优化,并基于用量增长与模型价格变化做预测。五是供应商与评测计划,维护质量、时延、安全、价格、数据条款记分卡,年度续约前进行结构化比选,负责中央评测框架与数据集卫生。

使用方式:可按需加载参考文档——团队节奏与 RACI 见 references/operating_model.md,发布与灰度见 references/release_governance.md,SLO 与事故见 references/incidents_slos.md,成本与容量见 references/cost_capacity.md,供应商与评测运营见 references/vendor_eval_program.md。具体安装命令与运行方式暂未提供。