本技能用于为 AI 智能体建立可重复的自动化评估，使智能体行为能随时间安全改进。适用场景包括：发布新的智能体功能或修改提示词、为智能体质量与安全增加 CI 门禁、为工具调用型智能体构建回归套件、大规模衡量 LLM 输出质量、验证 RAG 检索准确度。
前置条件：Python 3.10+、LLM API 密钥（OpenAI、Anthropic 等）、pytest 或自定义评估框架（示例中的 --timeout 选项需要 pytest-timeout），可选 Braintrust、Promptfoo 或 LangSmith 账号。
评估分层：单元评估（提示词→响应质量，用金标数据集做精确匹配或关键词包含/排除断言）；工具评估（验证智能体选择正确工具及参数）；端到端评估（多步任务，检查是否搜索、输出质量、token 预算与最大步数）；安全评估（提示注入与数据外泄的对抗性测试）；LLM-as-Judge 评分（用评分模型按准确性、有用性、安全性打分并设阈值）。
使用方式：可结合 Promptfoo 配置文件运行 npx promptfoo eval、npx promptfoo view；用 Makefile 目标分批运行 smoke、regression、safety、all；通过 GitHub Actions 在 PR 与定时任务中执行 pytest 评估，并上传结果。
限制与注意：文中模板是应用示例而非捆绑的可执行测试，需自行提供适配器、夹具、依赖与配置；需先批准供应商成本与数据传输，夹具保持合成、密钥保密；仅凭拒绝关键词或数值评分不足以证明安全或事实准确；需在评估前定义阈值与人工复核；CI 示例需固定版本、最小权限、私有制品与预算，切勿向不可信 PR 暴露密钥；对比评估漂移时须保证数据集、评分标准和模型版本及指标尺度一致。本技能为文档导入，上游脚本与模板未随附，暂未提供更多具体实现。