SuperAPI AI 工具集

ar-policy-tester

测试与质量

查看项目

更新于 10-15 19:58

技能介绍

用途:在部署前验证 Amazon Bedrock 自动推理(AR)策略的行为,并构建策略变更后可重复运行的回归测试套件。建议在 ar-policy-reviewer 检查通过后使用。

主要能力:分两步测试流水线。生成场景测试规则正确性,由规则推导而来,可消除翻译不确定性;问答(QnA)测试覆盖完整流水线(翻译加验证),使用真实问答对与预期结果。

使用方式:先跑场景再跑 QnA。生成场景:uv run scripts/generate_scenarios.py --policy-arn <ARN> [--count 10];创建 QnA 测试:uv run scripts/create_test.py --policy-arn <ARN> --output "..." --input "..." --expected VALID --confidence 0.8;运行测试:uv run scripts/run_tests.py --policy-arn <ARN>,可用 --test-case-ids 指定用例。脚本均支持 --help 与 --dry-run。

结果解读:每条结果含 expected、actual(按严重度聚合的最差结果)与通过/失败。严重度顺序为 TRANSLATION_AMBIGUOUS > IMPOSSIBLE > INVALID > SATISFIABLE > VALID。若 actual 与 expected 不符,先检查翻译(前提、断言、置信度),再怀疑规则。失败时交由 ar-policy-debugger 处理,不要在此猜测修复。

限制:测试工作流需要 COMPLETED 状态的 build id,脚本会自动解析最新的一个。需覆盖有效与无效两类用例。资料未提供更多平台、收费或效果信息。