SuperAPI AI 工具集

ar-runtime-validator

智能体与模型

查看项目

更新于 10-15 19:58

技能介绍

用途:在运行时校验 LLM 回答是否符合附加了 Amazon Bedrock 自动推理(AR)策略的护栏,并对非 VALID 结果执行迭代重写循环(Valid@N)。

主要能力:validate_response.py 执行一次性校验,打印校验发现与聚合结果,并断言 AR 确实运行;rewrite_loop.py 先校验,非 VALID 时按发现类型渲染对应模板并携带规则,通过 Converse 重新生成回答后再校验,最多迭代 --max-iter 次并记录每轮日志。

使用方式:一次性校验示例:uv run scripts/validate_response.py --guardrail-id <ID> --guardrail-version 1 --question "..." --answer "...";迭代重写示例:uv run scripts/rewrite_loop.py --guardrail-id <ID> --guardrail-version 1 --question "..." --answer "<initial answer>" --model-id anthropic.claude-3-5-sonnet-20241022-v2:0 --max-iter 5。脚本支持 --help 与 --dry-run。

关键规则:静默跳过防护——未打标签的请求仍会成功但不执行 AR 检查(automatedReasoningPolicyUnits: 0),须断言该值大于 0(ar_common.assert_ar_ran)。限定符规则:ApplyGuardrail 的块默认是 claim(agent 侧),用户问题需标记 qualifiers:["query"];ApplyGuardrail 不追加模型响应,须包含至少一个 claim 块,否则报 ValidationException;Converse 用 snake_case 限定符,InvokeModel 用 camelCase。生产环境使用编号护栏版本而非 DRAFT。重写按最严重发现优先(severity 顺序)。VALID 则直接返回;TOO_COMPLEX 应请用户简化而非循环;输入导致的 TRANSLATION_AMBIGUOUS/IMPOSSIBLE 可考虑请求澄清。需保留审计轨迹,每轮的发现与支持/矛盾规则是可数学验证的证据。

发现解读:VALID 可返回(检查 untranslated* 未校验部分);INVALID 用 contradictingRules 重写;SATISFIABLE 补充缺失条件或加说明;IMPOSSIBLE 为输入矛盾或策略冲突,需澄清或修正策略;TRANSLATION_AMBIGUOUS 请用户澄清或改进策略描述;TOO_COMPLEX/NO_TRANSLATIONS 简化输入或单独处理离题内容。

限制:资料未提供收费、价格、平台支持范围等更多信息。