SuperAPI AI 工具集

openclaw-behavior-validator

测试与质量

查看项目

更新于 10-16 02:30

技能介绍

用途:作为代码感知审查的黑盒补充,behavior-validator 不评判代码改动,而是针对运行中的产品、CLI、API 或生成产物,按行为契约验证用户可观察行为。

主要能力:先读取行为契约,若无则依据用户请求先写一份简短契约(参考 references/contract-template.md)。全程保持源码盲区,不查看源码、diff、测试、git 历史、实现说明、构建内部或审查包,只通过浏览器、CLI、API、生成文件、公开日志、截图、无障碍树或文档化运行时输出交互。发现实现类证据视为污染;若必须访问源码才能继续,则停止并报告 blocked_source_required。

使用方式:建议在隔离的源码盲工作区运行,例如 validator_dir="$(mktemp -d "${TMPDIR:-/tmp}/behavior-validator-run.XXXXXX")",chmod 700 "$validator_dir",复制契约后进入该目录。凭据通过批准的密钥工具或精确环境变量提供,不得写入工作区、报告、截图或日志。工作流为:解析契约中的用户任务、预期行为、反作弊探针、准备与证据要求;准备运行时访问;以真实用户或操作员方式执行任务;运行反作弊探针(变换夹具数据、刷新重试、空值与非法输入、持久化验证、检查生成输出、确认按钮或命令真正执行工作);以精简脱敏笔记、截图、终端片段、响应摘要、文件摘要或无障碍观察记录证据;输出结构化报告(可用 references/report-schema.md)。修复后仅重跑受影响条款及邻近回归探针。

判定规则:可观察行为违反契约、任务无法完成、预期状态为假或静态、证据不足以支撑通过时判 fail;缺少运行时访问、凭据、夹具、网络或工具时判 blocked;仅当契约明确排除或依赖用户自有产品决策时判 out of scope;纯美学、代码质量或实现风格问题应拒绝,归代码感知审查。

最终报告包含:所验证目标、所用契约文件或内联契约、pass/fail/blocked/out-of-scope 汇总、带复现步骤与证据的已接受行为发现、已运行的反作弊探针、剩余阻塞项。

限制:必须保持源码盲区;需要可用的运行时访问与凭据;不评估代码质量;具体平台、收费与价格信息暂未提供。