SuperAPI AI 工具集

model-compare

智能体与模型

查看项目

更新于 10-16 01:19

技能介绍

用途:在同一提示下盲测对比多个大模型,帮助用户在选定工作流模型前评估质量与表现,也用于观察不同模型对指令的理解方式。

主要能力:提供四种模式——simple(一问一答)、tools(带真实 web_search/web_extract 与沙箱 run_python/read_file/write_file 的多轮工具调用,默认上限 10 轮,可用 --max-turns 覆盖)、coding(内置编码测试如 LRU 缓存、并发抓取、调试归并排序、重试装饰器)、review(含植入缺陷的代码评审题)。流程为:解析模型到提供方端点→并行发送→质量检查→随机打乱并标 A/B/C/D 匿名展示→效率表→用户投票或裁判模型评估→揭晓映射,可选保存 JSON。支持用 @effort 后缀比较同一模型的不同推理强度,如 ollama-cloud:@medium:glm-5.3-flash。内置 24 个测试题库,可用 --test 指定、--list-tests 查看。

使用方式:脚本 scripts/compare.py 为独立 CLI,纯标准库无 pip 依赖。示例: python3 scripts/compare.py --prompt "Explain X" --models "ollama-cloud:glm-5.2" "ollama-cloud:kimi-k2.5" 常用参数:--prompt、--models、--mode、--test、--judge、--efficiency、--reveal、--output、--timeout、--list-providers、--list-models。接入的三家提供方为 Ollama Cloud(OLLAMA_API_KEY,免费)、NVIDIA(NVIDIA_API_KEY,免费)、OpenRouter(OPENROUTER_API_KEY,按 token 计费);未指定时优先走免费提供方,使用 OpenRouter 前需用户确认。

限制:tools 模式需 SEARXNG_URL 或 PATH 中的 ddgs CLI 才能实现在线搜索,其余三种模式不需要;对比模型不暴露终端工具。不适用于基准评测(如 MMLU)、成本分析、单模型测试或多来源研究综合。具体模型数量与 ID 未在资料中固定列出,需用 --list-models 查询。