SuperAPI AI 工具集

dsh-benchmark-case

通用与其它

查看项目

更新于 10-15 17:25

技能介绍

用途:当用户交来一个 dsh 插件仓库(或真实迁移 commit / 版本走廊),希望把升级经验转成可执行评测而非文档时使用。也被用于检验 AI 是否会按既有升级卡修复问题。

主要能力:把 git 历史里由宿主升级导致的必需改动,做成一道 Harbor 考题。fixture 为迁移前形态(装上有可观察故障,或带隐藏坑),oracle 为参考迁移,judge 做静态检查并读取容器内真实冷启动信号(pending、plugin tree failed、MISSING_CREDENTIAL、DSH_BOOT 条目),按 100 分/题线性叠加评分。

使用方式:按 Stage 0–6 流程执行。先选材并确认迁移方向、可测性、对应升级卡;再建 tasks/<id>/ 目录(instruction.md、task.toml、environment/、tests/、solution/);构造 fixture 与 judge;编写 oracle 参考解;同步注册表;最后跑校验与自检。Dockerfile 固定为 node:24-bookworm,安装 pnpm@11.24.0 与 @deepseek-ai/dsh@0.1.2-alpha.2,勿改版本。判分入口为 tests/judge.mjs,通过 test.sh 将分数归一化写入 /logs/verifier/reward.txt。

适用场景:真实迁移断裂面小(1~4 个 touchpoint)、旧形态在容器内必坏或有静默缺陷、新形态可冷启动验证的插件升级。纯自研重构、无宿主侧断裂的提交不成题。

限制:无浏览器容器下 client 运行时不可判,只能判 boot 图条目或 HTTP 状态;判分锚必须来自宿主侧信号。上游切片需保留原有 license 与元数据。交付前需通过 validate.mjs、validate-task-registry.mjs、validate-execution-contract.mjs 三项校验且 oracle 达到 100/100。harbor CLI 不可用时可用 docker 手动等价验证。资料未提供具体收费与价格信息。