SuperAPI AI 工具集

alicloud-observability-pts-test

测试与质量

查看项目

更新于 10-15 12:39

技能介绍

用途 该技能是 alicloud-observability-pts 的冒烟测试(Smoke Test),用于验证目标技能的脚本能否正常编译,以及一条受限的只读 PTS 元数据查询路径是否可用。目标技能路径为 skills/observability/pts/alicloud-observability-pts/。

前置条件 如需执行真实 PTS API,需配置最小权限凭证:ALIBABACLOUD_ACCESS_KEY_ID、ALIBABACLOUD_ACCESS_KEY_SECRET,以及可选的 ALIBABACLOUD_REGION_ID。可选的在线 SDK 测试依赖安装命令: python -m pip install -U alibabacloud_pts20201020 alibabacloud_tea_openapi

测试步骤

  1. 运行离线脚本编译检查(无需网络): python3 tests/common/compile_skill_scripts.py
    --skill-path skills/observability/pts/alicloud-observability-pts
    --output output/alicloud-observability-pts-test/compile-check.json

  2. 运行元数据 API 发现脚本: python3 skills/observability/pts/alicloud-observability-pts/scripts/list_openapi_meta_apis.py
    --product-code PTS
    --version 2020-10-20
    --output-dir output/alicloud-observability-pts-test

  3. 校验生成的文件与 API 数量: test -f output/alicloud-observability-pts-test/PTS_2020-10-20_api_docs.json test -f output/alicloud-observability-pts-test/PTS_2020-10-20_api_list.md rg -n "API count: [1-9][0-9]*" output/alicloud-observability-pts-test/PTS_2020-10-20_api_list.md

将请求摘要、响应摘要和原始输出保存到 output/alicloud-observability-pts-test/ 下。如果调用失败,记录确切的错误码/错误信息,不要猜测。

可选的在线只读检查 运行一条受限的只读场景查询: python3 skills/observability/pts/alicloud-observability-pts/scripts/list_pts_scenes.py
--region "${ALIBABACLOUD_REGION_ID:-cn-hangzhou}"
--page-number 1
--page-size 10
--json
--output output/alicloud-observability-pts-test/list-scenes.json

然后校验输出包含响应元数据: rg -n '"RequestId"|"Success"|"Code"' output/alicloud-observability-pts-test/list-scenes.json

通过标准

  • 脚本编译检查通过(compile-check.json.status=pass)。
  • 元数据 API 发现成功,并生成 JSON 与 markdown 两个输出文件。
  • API 列表 markdown 显示正数的 API 数量。
  • 证据文件存在于 output/alicloud-observability-pts-test/ 中。
  • 可选的在线只读检查返回有效的 PTS 响应结构。

结果模板 Date: YYYY-MM-DD Skill: skills/observability/pts/alicloud-observability-pts Conclusion: pass / fail Notes:

适用场景 适用于在开发或 CI 流程中对 alicloud-observability-pts 技能进行冒烟验证,确认脚本可编译、元数据 API 可发现,并在具备凭证时验证只读场景查询路径。

限制 离线编译检查无需网络;真实 PTS API 调用需要配置最小权限凭证。在线检查为只读且受限(单次场景查询,分页参数固定为第 1 页、每页 10 条)。失败时应记录确切错误码/信息,不得猜测。