SuperAPI AI 工具集

agents-optimize

智能体与模型

查看项目

更新于 10-15 17:23

技能介绍

用途:衡量并改进 AgentCore 智能体的质量,覆盖评估、监控与可观测性。适用于想判断智能体回答质量、在生产中建立持续质量监控、为 CI/CD 流水线加入质量门禁、通过日志/指标/追踪理解智能体行为,或搭建 CloudWatch 仪表盘与 X-Ray 追踪的场景。不适用于调试具体故障智能体(应使用 agents-debug)或生产安全加固(IAM、认证,应使用 agents-harden)。

输入:$ARGUMENTS 可为评估目标(如“add a quality gate”“set up monitoring”)、可观测性目标(如“set up CloudWatch dashboard”“understand my traces”)、指定评估器(如“llm-as-a-judge”“code-based”),也可留空由技能依据项目上下文引导。

使用方式:先运行 agentcore --version,要求 v0.9.0 或更高;再读取 agentcore/agentcore.json 了解现有评估器、在线评估配置与智能体设置,若文件不存在则提示需先用 agents-get-started 创建 AgentCore 项目。随后按意图选择工作流:质量评估、评估器、CI/CD 门禁或在线监控加载 references/evals.md;可观测性、CloudWatch、X-Ray、日志、指标、仪表盘加载 references/observability.md;理解或降低 AgentCore 成本加载 references/cost.md;两者兼有则先做可观测性再添加评估。之后按所加载参考文件逐步执行。

质量要求:评估器配置仅使用有效 CLI 标志;生产环境在线评估采样率应适当,未经讨论不应设为 100%;CI/CD 质量门禁需有明确通过/失败阈值;可观测性设置应同时包含追踪与日志。需了解评估数据延迟约为写入到读取端到端 10 秒,一次摄取步骤同时覆盖追踪读取与评估查询,不存在单独的索引等待。

交叉引用:完成评估后可建议 agents-harden 做生产就绪;评估结果暴露问题时建议 agents-debug 做根因分析;若需先添加能力则建议 agents-build。输出取决于所选工作流,详见对应参考文件。