SuperAPI AI 工具集

behavior-validator

编程与开发

查看项目

更新于 10-16 03:06

技能介绍

用途 Behavior Validator 用于在不查看源代码的情况下,验证应用、CLI、API 或生成产物的可观察行为是否符合预先写好的行为契约。它是代码感知审查(如 autoreview)的黑盒补充:autoreview 评审变更包,behavior-validator 评审运行中的产品。

主要能力 先读取行为契约;若没有,则根据用户请求先写一份简短契约(见 references/contract-template.md)。保持源码盲测:不查看源码、diff、测试、git 历史、实现说明、构建内部或评审包,只通过用户或运维可见的界面交互,如浏览器、CLI、API、生成文件、公开日志、截图、无障碍树或文档化的运行时输出。若必须访问源码才能继续,则停止并报告 blocked_source_required。结果按契约条款和可观察步骤报告,而非代码位置;每条相关契约条款需为 pass、fail、blocked 或 out of scope 后才可判定流程通过。

使用方式 建议使用源码盲工作区,例如: validator_dir="$(mktemp -d "${TMPDIR:-/tmp}/behavior-validator-run.XXXXXX")" chmod 700 "$validator_dir" cp behavior-contract.md "$validator_dir/" cd "$validator_dir" 从契约启动或连接目标,仅保留契约、允许的夹具和脱敏证据。凭据通过批准的密钥工具或精确环境变量提供,不得写入工作区、报告、截图或日志;不要使用固定共享路径。若应用必须从源码检出启动,另开终端运行,验证时不要读源码。

工作流:将契约解析为用户任务、预期行为、防作弊探针、准备和证据要求;准备运行时访问;像真实用户一样执行任务;运行防作弊探针(变化夹具数据、刷新/重试、空和无效输入、验证持久性、检查生成输出、确认按钮/命令执行真实工作而非只显示成功文本);以紧凑脱敏笔记、截图、终端摘录等捕获证据;输出结构化报告(可用 references/report-schema.md);若修复后仅重跑受影响条款及邻近回归探针。

判定规则 可观察行为违反契约、任务无法完成、预期状态为假/静态、或证据不足以支持通过时判 fail;缺少运行时访问、凭据、夹具、网络或工具时判 blocked;契约明确排除或依赖用户自有产品决策时判 out of scope;拒绝纯美学、代码质量或实现风格问题。

最终报告包含:执行的目标、所用契约文件或内联契约、pass/fail/blocked/out-of-scope 摘要、带复现步骤和证据的行为发现、已运行的防作弊探针、剩余阻塞项。

适用场景与限制 适用于黑盒验证应用、CLI、API 及生成产物是否符合行为契约。限制:必须保持源码盲;缺少必要运行时访问或凭据时会阻塞;不负责审美、代码质量或实现风格评审。具体价格、平台支持、安装命令等资料暂未提供。