SuperAPI AI 工具集

code-arena-cn

编程与开发

查看项目

更新于 10-15 19:50

技能介绍

用途:CodeArena 评测 skill 用于对比评测同一需求(或同一代码仓多个分支)的多个代码实现并按两套独立 rubric 打分:通用 Basic /100 + 本轮需求 Round /100,各含最高 +10 动态加分,最终产出中英双语报告。触发场景包括开始一轮评测、对比同一需求下多个实现、对比一个仓库多个分支、按 basic + round rubric 打分,以及跑 API/视觉/SAST/架构/治理/覆盖率评测。

主要能力:skill 内含完整标准、用例、模板与探测脚本。必读资源包括 references/EVAL_STANDARDS.md(权威标准,评测前先读)、references/basic_eval_cases.md(静态 Basic rubric:B1 安全 30 / B2 视觉 18 / B3 代码质量 30 / B4 治理 10 / B5 测试覆盖率 12)、references/report_template.md(三段式报告模板,中英同构)、references/scoring_overview.md、references/example_round_eval_cases.md。scripts/ 提供通用库 lib/(http/ui/端口探测)、每轮生成用的 templates/、截图工具 cap.mjs、工具就绪检查 check-tools.sh 与安装 setup-tools.sh。

使用方式:每轮必须按序执行。先做工具就绪检查:bash scripts/check-tools.sh,缺失用 bash scripts/check-tools.sh --install 安装。再选目标与命名,一个目标 =(仓库, 分支),至少两个目标,分支未给则用当前分支,记入 EvalSets/<round>/<round>_targets.md。逐字记录原始 prompt 到 EvalSets/<round>/<round>_raw_prompt.md;若用户未给评测项目/目标或原始 prompt,先索取,绝不猜测。随后据 prompt 生成 <round>_eval_cases.md 交用户确认,过范围闸、起隔离临时副本,先跑 Basic 用例再跑 Round 用例,证据保留在 EvalSets/<round>/evidence/,最后按模板写 <round>_test_report.md 与 _cn.md。测试 harness 每轮从 templates/ 生成,填入契约、逐条断言、UI 流程、截图清单,每条可追溯到一个 eval-case,不得留通用占位。安装示例:chmod +x scripts/setup-tools.sh && ./scripts/setup-tools.sh;npx skills add https://github.com/microsoft/playwright-cli --skill playwright-cli;git clone --depth 1 https://github.com/semgrep/semgrep-rules.git。运行示例:node scripts/detect-ports.mjs <projectDir>;PROJECT_DIR=<projectDir> EVID_DIR=EvalSets/<round>/evidence node EvalSets/<round>/evidence/harness/api_test.mjs <project>;PW_EXEC=<chromium> EVID_DIR=EvalSets/<round>/evidence/ui FE_BASE=http://localhost:<feport> node EvalSets/<round>/evidence/harness/ui_test.mjs <project>;semgrep --config <semgrep-rules>/javascript --config scripts/sast-rules.yaml --json。

硬性规则:范围按目标解析出的文件集并先过范围闸;两个 rubric 各恰 100 分、各带独立动态加分(最高 +10);同一问题/能力只计一次,不重复计算;每轮完全独立,不与历史轮对比,唯一例外是 B3d-2 兼容性可用 git 对比同仓前一版本;功能/安全/UX 分数来自评估方自研探测,项目自带测试仅计入 R4 测试域;每个交付件出英文与中文两份,evidence/ 不翻译;报告三段式且不设修复建议章节。并发目标须错开端口,完成后清理进程与 git worktree。

适用场景与限制:适合需要多实现横向对比、按统一标准打分并出双语报告的评测任务。限制包括:沙箱对 GitHub release 二进制常返回 403,官方 Semgrep 规则须每轮 git clone 现取,不内置副本;当前 rubric 不含 DAST,故不安装 OWASP ZAP / Dependency-Check;工具安装与脚本细节以 skill 内文档为准。具体收费、价格与平台信息暂未提供。