用途:通过阿里云 CLI 插件 aliyun-cli-agentloop 编排 AgentLoop 评估工作流,把一份紧凑的 JSON 规格转换为所需的 AgentLoop API 调用序列——发现评估器、创建或更新已保存评估器、创建单次或批量评估任务、轮询运行、从 SLS 分析结果。架构为 Aliyun CLI >= 3.3.3 加 aliyun-cli-agentloop 0.7.0、aliyun-cli-sls 插件、AgentLoop API(2026-05-20)与 SLS evaluation_detail Logstore。
使用方式:先执行 aliyun version 确认不低于 3.3.3,并运行 aliyun configure set --auto-plugin-install true 与 aliyun plugin update;用 aliyun plugin show --name aliyun-cli-agentloop 和 aliyun agentloop version 校验插件,结果分析还需 aliyun plugin install --name aliyun-cli-sls。设置 SKILL_DIR,可选 ALIBABA_CLOUD_PROFILE、SKILL_SESSION_ID。运行 python3 "$SKILL_DIR/scripts/agentloop_eval.py" run --spec /path/to/evaluation.json 预览,默认 dry-run,仅在用户明确确认后加 --execute;用 doctor、discover、status、analyze 等只读操作检查与查询。脚本仅依赖 Python 3.8+ 标准库。
限制与安全:所有云上变更(创建/更新/删除评估器与任务、--execute、持续评估、无上限批量、终止任务)必须先预览并经用户显式确认,禁止按沉默或含糊回应执行。绝不能读取、回显或打印 AK/SK,也不能用字面凭证执行 aliyun configure set,仅可用 aliyun configure list 检查状态。每条调用云 API 的 aliyun 命令必须带 --user-agent AlibabaCloud-Agent-Skills/alibabacloud-agentloop-evaluation/{session-id}。权限不足时需查阅 references/ram-policies.md 处理。官方文档未列明具体收费金额与完整权限清单,相关资料暂未在本资料中提供。