SuperAPI AI 工具集

benchmark-models

通用与其它

查看项目

更新于 10-15 22:10

技能介绍

用途:对 gstack 技能或任意提示词做跨模型横向对比,衡量速度、成本与输出质量差异。与 /benchmark 不同,后者测网页性能(Core Web Vitals、加载时间),本技能测 AI 模型表现。

主要能力:同一提示词并行跑 Claude、GPT(通过 Codex CLI)、Gemini;表格输出延迟、token、成本;可选 --judge 用 Anthropic Claude 按 0-10 打分评估质量,约增加 USD 0.05/次;可将结果保存为 JSON 便于后续对比。

使用方式:先定位二进制文件 gstack-model-benchmark(缺失时需在 gstack 安装目录运行 ./setup)。选提示词(某个技能的 SKILL.md、内联提示词或磁盘文件),先做 dry-run 查看各提供方鉴权状态,再选择模型与是否启用评委,最后执行:"$BIN" --models <picked-models> [--judge] --output table -- "$PROMPT_PATH"。运行较慢,约 30 秒到 5 分钟。结束后汇总最快、最便宜、质量最高与综合最优,并可选择保存到 ~/.gstack/benchmarks/<date>-<skill-or-prompt-slug>.json(用 --output json)。

适用场景:在多个模型间选择最适合某技能的模型、做跨模型对比或“模型对决”。

限制:必须先 dry-run 再真实运行;不硬编码模型名;不自动加 --judge;若所有提供方都未鉴权则停止;需要至少一个已鉴权的提供方;具体安装与鉴权命令以官方为准,资料未提供完整列表。