SuperAPI AI 工具集

review-harness

测试与质量

查看项目

更新于 10-15 23:44

技能介绍

用途:对已有 Kaggle-Environments LLM harness 做批判性审查,重点找两类问题——已知反模式(底部目录中的模式,用 grep 再验证,成本低、可信度高)和未知缺陷(通过读源码、用对抗输入压测解析器、以敌意 LLM 视角读提示词、在 replay 数据里顺藤摸瓜)。与生成新代码的 create-harness 分工不同。

审查围绕三个问题:提示词是否对游戏说真话(逐条对照实际引擎验证);解析器能否在真实 LLM 杂乱回复中稳健还原意图(用对抗输入压测);replay 数据是否显示 harness 行为与代码一致(意图与动作不匹配扫描,以及对各目录模式的定向检测器)。如果用户提供 episode JSON 的 zip 回放包,还应执行 replay 扫描,量化实际影响。

使用方式:Step 0 先与用户确认范围,包括游戏/harness、是否含 proxy/env、是否有回放包及路径、缺失测试是否算 bug、是否存在 arena 变体。Step 1 从引擎建立事实基准,不要依赖文档或 harness 自身声明,例如用 pyspiel 加载游戏、打印 observation 与 legal_actions、复现碰撞/捕获/机会节点/同时回合等边界;核对所有胜负平路径与不完全信息遮蔽。提示词若与引擎行为不一致即为 bug,且属最高影响类别。Step 2 静态审查:先走反模式目录(2a),再做发现(2b 逐条核对提示词声明、2c 用对抗输入跑真实 parse_response、2d 以敌意 LLM 视角读提示词、2e 纸面追踪一整回合、2f 与 checkers、dark_hex、word_association 参考实现比较)。Step 3 回放扫描:理解 schema 后做总体结果统计、意图与提交动作对比、差分测试与意外发现。

适用场景:审查 Kaggle-Environments 下的 LLM harness 代码与回放数据,尤其适合提示词准确性、解析器鲁棒性与回放一致性问题。

限制:具体支持的游戏列表、安装命令、收费与平台信息暂未提供;该技能面向已有 harness 的审查,不产出新 harness 代码。