SuperAPI AI 工具集

skill-evals-run

测试与质量

查看项目

更新于 10-15 20:11

技能介绍

用途:在本地仓库运行 OpenCode 的 skill-loading 评测套件,适用于被要求运行技能评测、技能加载评测或 skill-evals-run 命令时。

前置条件:opencode 已安装并在 PATH 中;~/.config/opencode/ 下有 provider 配置(即使使用 --isolate-config 也会用到);若使用 --disable-models-fetch,需存在 ~/.cache/opencode/models.json 且包含目标模型;具备认证凭据(通常为 ~/.local/share/opencode/auth.json);模型调用需要网络访问。

运行命令: evals/skill-loading/opencode_skill_eval_runner.sh
--repo "$PWD"
--dataset evals/skill-loading/opencode_skill_loading_eval_dataset.jsonl
--matrix evals/skill-loading/opencode_skill_eval_matrix.json
--disable-models-fetch
--isolate-config
--parallel 3

参数:用户若提供 --filter-id <regex>、--filter-category <substring>、--parallel <n>,则追加到命令中;未提供 --parallel 时保持默认 3。

运行后:汇总 PASS/FAIL 数量并列出失败用例 ID。若存在失败(PASS/FAIL 而非 ERROR),参考 evals/skill-loading/docs/skill-optimization-steering.md 并建议下一步修复措施。若有用例为 ERROR,不要建议优化,而应检查 evals/skill-loading/.tmp/opencode-eval-results/<run>/results.json 及相关 trace 定位崩溃原因,解决后重新运行评测。

注意事项:需从仓库根目录运行以保证相对路径正确;--isolate-config 同时禁用项目配置,因此无需额外参数即可避免评测期间加载仓库配置/插件;使用 --disable-models-fetch 时,运行器在存在时回退到 ~/.cache/opencode/models.json,如需其他缓存文件可用 --models-url file://...。回复中应包含实际使用的完整命令。