Amazon Bedrock AgentCore Evaluations 是面向 AI 智能体的质量评估与监控工具，目标是把智能体测试从“凭感觉”转变为基于指标的质量保证。它支持在生产前测试智能体，并在上线后持续监控线上交互，依托 13 个内置评估器与自定义评分体系来完成质量、安全与有效性标准的校验。
一、用途与定位 该工具用于确保 AI 智能体满足质量、安全与有效性标准，采用基于任务（5 种操作）的模式。其核心理念包括：生产前测试（部署前验证）、持续监控（对线上交互采样并打分）、13 个内置评估器（标准质量维度）、自定义评估器（针对领域专属指标的 LLM-as-Judge）、告警集成（通过 CloudWatch 实现主动监控），以及同时支持按需与持续两种测试模式。资料中列出的质量目标为：正确性 ≥90% 准确率、有用性 ≥85% 满意度、安全性 0 有害输出、目标成功 ≥80% 完成率。
二、主要能力
-
13 个内置评估器 资料列出了 13 个内置评估器及其用途与分数范围（均为 0-1）：正确性或事实准确性、有用性、工具选择准确率、工具参数准确率、安全性（有害内容检测）、忠实性（基于源上下文）、目标成功率（用户意图是否满足）、上下文相关性、连贯性、简洁性、刻板印象危害（分数越低越好）、恶意性（分数越低越好）、自残内容检测（分数越低越好）。
-
自定义 LLM-as-Judge 评估器 可创建领域专属的质量指标，资料给出的示例包括品牌语气评估（以 1-5 数值评分）、技术准确性评估（0-100 数值评分并输出 errors_found 变量）、合规性评估（分类评分：COMPLIANT、NON_COMPLIANT、NEEDS_REVIEW）。自定义评估器通过 llmAsJudgeConfig 配置模型（如 anthropic.claude-3-sonnet-20240229-v1:0 或 anthropic.claude-sonnet-4-20250514-v1:0）与推理参数，并在 evaluationInstructions 中定义评分逻辑与评分量表。
三、五种操作方式
-
创建评估器（Operation 1：Create Evaluators） 用于为智能体配置内置评估器，通过 bedrock-agentcore-control 客户端的 create_evaluator 方法创建，可指定 evaluatorType 为 BUILT_IN，并在 builtInConfig 中设置 evaluatorName 与 scoringThreshold（分数阈值）。资料演示了正确性、安全性、工具选择等评估器的创建，并提供了批量创建标准评估器的循环示例。
-
自定义 LLM-as-Judge 评估器（Operation 2） 用于创建领域专属质量指标，evaluatorType 为 LLM_AS_JUDGE，需配置模型（modelConfig）、评估指令（evaluationInstructions）与评分量表（ratingScales）。
-
按需评估（Operation 3：On-Demand Evaluation） 用于部署前测试智能体，通过 bedrock-agentcore 客户端的 evaluate 方法，针对测试用例或测试数据集运行评估，并统计通过率与分数。资料还提供了从文件读取场景进行批量评估并聚合均值、最小值、最大值的示例。
-
持续监控（Operation 4：Continuous Monitoring） 用于监控生产智能体质量，通过 create_online_evaluation_config 创建在线评估配置，可设置 evaluatorIds、samplingConfig（如 sampleRate 0.1、samplingStrategy RANDOM）与 outputConfig（CloudWatch 日志组）。并可通过 CloudWatch 设置告警，例如正确性下降告警与安全违规告警。
-
评估仪表板（Operation 5：Evaluation Dashboard） 用于可视化智能体质量指标，通过 CloudWatch put_dashboard 定义仪表板，包含质量分数、目标成功率、安全违规（应为 0）以及低质量交互日志查询等组件。
四、使用方式与前提条件 必需条件：已部署的 AgentCore 智能体或测试数据、评估操作所需的 IAM 权限、用于监控集成的 CloudWatch。推荐条件：已记录测试场景、已建立基线指标、已定义告警阈值。
五、适用场景
- 生产部署前测试智能体
- 持续监控生产环境智能体质量
- 设置质量告警与仪表板
- 验证工具选择准确性
- 衡量目标完成率
- 创建领域专属质量指标
六、限制与不适用场景
- 不用于策略执行（应使用 bedrock-agentcore-policy）
- 不用于内容过滤（应使用 Bedrock Guardrails）
- 不用于代码单元测试（应使用 pytest/jest）
七、最佳实践（资料列出） 包括先建立基线（运行初始评估并将基线指标存为 baselines.json），以及测试对抗性输入（资料提供了 adversarial_cases 示例，其余内容暂未提供）。
关于收费、价格、平台支持范围等具体信息，资料中暂未提供。