ae-evaluation 是用于操作 Agent Evaluation（agent-test）平台的 ae-cli 技能，所有 121 条命令面向该平台。调用形式为 ae-cli evaluation +<command> [options]。该技能管理评估资产和被测 Agent；AE Agent 资源管理归 ae-agent 负责。
用途与主要能力
- 数据集：创建/导入数据集，管理字段与用例，发布版本。
- 评估器：配置 LLM 裁判/模板，发布评估器版本，校准或优化提示词。
- 运行：创建、配置、启动、重试、取消运行，查看结果与追踪，导出结果。
- 连接：配置/测试模型和 Agent，管理凭据。
- 访问与成员：更改资源可见性或管理项目成员。
- 文件：下载导入/导出的文件到磁盘。
- 计划：创建、更新、删除周期性评估计划。
- 集成：连接/导入 AI Monitor 数据，配置 TE 报告，发现 TE Claude 目录。
使用方式
- 端点与认证：在个人终端和 AE 沙箱中，评估命令默认使用当前 AE Host，调用 <current-host>/agenteval/api/v1/...（主机末尾可选的 /agent 会被移除）。可用 --host 选择其他 AE Host。评估请求使用该 AE Host 配置的 HTTP 或 HTTPS 方案。旧的 --endpoint 和 AE_EVAL_BASE_URL 值仅可匹配当前 AE Host，其他值会在发送凭据前失败。会话交换和评估请求拒绝重定向，会话交换超时 30 秒。路径资源 ID 只能包含字母、数字、连字符或下划线，分隔符和 URL 转义语法会被本地拒绝。
- 认证：显式设置 AE_EVAL_ACCESS_TOKEN 时使用它，仅以 Authorization: Bearer 发送，且不得出现在命令参数或输出中。在 AE 沙箱中，未设置 AE_EVAL_ACCESS_TOKEN 时，ae-cli 会通过 te-claude 自动将沙箱提供的 cli-token 交换为短时评估会话。CLI token 从不发送给 Agent Evaluation。若该令牌可访问多个 TE 项目，需设置 AE_EVAL_TE_PROJECT_ID。沙箱外需通过平台 Web 控制台或 POST /agenteval/api/v1/auth/session 获取会话令牌。未设置令牌会产生 EVAL_ACCESS_TOKEN_MISSING。
- 输出与错误：成功命令默认返回 JSON；使用实际错误信封诊断失败。评估错误会脱敏提交的凭据值和会话令牌；稳定业务错误码保持不变。
ID、版本与变更
- 使用 list/get 命令发现真实 ID。UUID 为 version-7 字符串，不要猜测 ID、JSON 负载结构、频率字段或 lock_version。
- 已发布的数据集、评估器和评估任务版本不可变，与草稿分离。运行和计划会固定版本，已发布版本不能覆盖。发布未更改资产返回 ASSET_VERSION_NO_CHANGES。
- 读操作在输入已知后可运行。写操作需用户意图；高风险操作保留确认，除非用户授权 --yes 跳过。高风险写包括凭据启用/禁用、运行取消、删除、所有权转移、模板禁用、访问范围变更、成员准入/权限变更。
- 需要 --lock-version 的变更前应读取当前资源；每次成功变更递增版本，下次变更前需重新读取。
- 字段变更使用数据集版本；用例变更使用用例版本。TE 报告配置或 AI Monitor 连接首次创建时省略 --lock-version，更新时需当前值（包括 0）。
- 异步数据集导入、评估集导入和结果导出每次尝试需新的唯一 --idempotency-key，并轮询状态直至完成；仅创建资源不代表就绪。
- 广泛/破坏性写入且目标未验证时，优先使用 --dry-run 预览请求而不执行。
- 用例数据在单条和批量写入的命令日志中均会脱敏。凭据密钥为只写，绝不回显密钥、会话声明或敏感追踪证据。
评估生命周期
- 使用 +list_dataset_versions 选择已发布数据集版本。
- 选择 LIVE_AGENT（默认）调用 Agent/模型，或 PRESET_RESULT 对数据集中存储的输出评分；PRESET_RESULT 必须省略 agent/model 配置 ID。IMPORTED_OUTPUT 仅为旧数据，不应推荐。
- 创建草稿运行，绑定至少一个 ACTIVE 评估器（优先固定已发布版本），配置完整字段映射和结果过滤字段；未选择字段时需显式空结果过滤器。
- 优先 +validate_run 运行启动预检（无需正文或 lock version）。读取最新运行后，用当前 lock version 执行 +start_run。
- 查看概览/分布，钻取用例，并按运行参考处理重试、追踪和导出语义。
适用场景与限制 适用于通过命令行自动化管理 Agent 评估全流程的团队，包括数据集与评估器版本管理、批量运行与结果导出、定时评估和集成配置。限制包括：需有效会话令牌；路径 ID 有字符限制；凭据与敏感数据脱敏；写操作需意图和高风险确认；版本不可变且需 lock_version 并发控制；异步操作需幂等键并轮询；不要建议 localhost/回环端点或从本地 agent-test/.env 获取令牌。传输状态为过渡性：现有平台契约暴露 REST 操作而非本仓库注册的评估能力，新命令保留该传输用于类型化输入、权限确认和文件处理；扩展前需检查部署 Gateway 覆盖，优先使用现有等效能力。当前传输为认证 REST /agenteval/api/v1，Gateway 目标待定，审查日期 2027-01-21。