SuperAPI AI 工具集

agento11y-prod-setup

智能体与模型

查看项目

更新于 10-15 21:55

技能介绍

用途:这是 agento11y-test-starter 的生产对应技能。前者在发布前仅凭代码生成离线测试套件;本技能在智能体上线、有真实流量后运行,配置两类生产面:在线评估规则(对已采集的实时对话打分,自动发现回归)与守卫(请求路径上的策略,可警告、后续可升级为拒绝)。

主要能力:基于两类证据做判断——智能体代码(系统提示、工具、用户数据处理方式,需引用 file:line)与真实流量(通过 gcx agento11y 采样对话与生成)。据此推荐 3–6 条规则/守卫并排序,每条附一行理由。守卫有三种形态:evaluator_ids(评估器判定)、redact(正则脱敏)、tool_filter(拦截工具调用)。

使用方式:所有连接经 gcx agento11y,需先 gcx login 并安装 gcx。步骤:0 用 gcx config current-context 与 gcx config view 确认目标栈,写入前需明确确认;1 读代码并用 gcx agento11y agents list、conversations search、generations get 采样流量,建议至少 20 条对话、跨 7 天;2 用 evaluators list、rules list、guards list 盘点已有对象,按语义等价去重;3 推荐;4 将 YAML 草稿写入 ./agento11y-prod/(建议加入 .gitignore);5 展示 YAML 并获确认后用 gcx agento11y <kind> create -f 创建(评估器用 upsert -f)。

限制:不重写提示、不优化、不重新部署智能体。新守卫一律先以 action_on_fail: "warn" 起草,绝不首次即 deny。新在线规则用保守 sample_rate(如 0.1)。redact 模式仅含 {id, regex},无 replacement 字段。模板 id 需先用 templates list 解析。流量不足时应停止并改用离线技能。缺失输入(智能体名称、gcx 认证)需询问而非猜测。