用途:为仓库中四类工件(prompt、instructions、agent、skill)编写 Vally 一致性测试,验证工件已声明的行为,并通过合适的 Vally grader 使失败可解释。
主要能力:提供规范化的六步编写流程(工件类型识别、参考查找、grader 选择、健壮性检查、安全自检、去重与追加);按类型提供参考文件(prompts.md 12 项、instructions.md 8 项、agents.md 9 项、skills.md 9 项检查);grader 目录与健壮性规则;七类安全拒绝分类法及正则;辅助脚本与语料模板。
使用方式:两种模式。from-artifact 模式通过 /vally-tests 或 Vally Test Author 子代理指向工件文件,自动识别类型并追加刺激块;corpus-import 模式通过 path 提供符合模板的 CSV 或 XLSX,逐行生成刺激块,所有导入行带 tags.advisory: true。完成后报告目标 eval 文件、追加数、跳过重复数、触发的拒绝及 JSON 运行报告路径。
适用场景:为已有工件编写行为一致性测试,或批量导入行为语料并统一格式化与去重。
限制:不得用于生成对抗性探针、越狱、提示注入、红队刺激;不得测试有害或违规提示的拒绝质量;不得诱导 PII、机密、隐藏指令或模型自我披露;不得在 eval 规格、语料、PR 摘要、issue 或评论中存储载荷示例或引用被标记内容;不替代负责任 AI 威胁建模(由 RAI Planner 代理负责)。输出目标限于指定 eval 文件,不得写入 baseline-equivalence、script-validation 或 results 目录。辅助脚本以 .ps1 与 .sh 配对发布,安全 lint 仅提供 Lint-VallyTestSafety.ps1。