SuperAPI AI 工具集

local-benchmarks

通用与其它

查看项目

更新于 10-16 06:42

技能介绍

用途:发现本机已下载的本地大模型,与已有 benchmark 结果比对,并可为尚未测试的模型运行性能基准,可选上传结果。主要能力包括:扫描 HuggingFace MLX 缓存与 LM Studio 的 GGUF 模型并汇总表格;用 whatcanirun show model 查看模型元数据(格式、量化、参数、大小、SHA256);读取 ~/.whatcanirun/bundles 下已有 bundle,按 artifact SHA256 或名称加量化比对,标记模型是否已跑过;查看已有结果的 decode/prefill 速度、TTFT 中位数与峰值内存;运行新基准并解释指标。使用方式:MLX 模型用 HuggingFace repo ID,GGUF 用绝对路径,运行命令为 npx whatcanirun run --model <hf-repo-id-o-path-local> --runtime <mlx_lm|llama.cpp> --trials 10;默认 --trials 10、--prompt-tokens 4096、--gen-tokens 1024。提交前可用 npx whatcanirun validate <bundle-id-o-path> 校验,再用 npx whatcanirun submit <bundle-id-o-path> 或运行时加 --submit 上传。限制与注意事项:明确不下载模型,只处理本地已有内容;应过滤 mmproj-*.gguf 多模态投影文件;长基准耗时数分钟,快速测试可把 trials 降到 3;不要并行跑基准,以免争抢内存与 GPU 导致结果失准;内存峰值接近上限会有 OOM 或换页降速风险;含空格的 LM Studio 路径需加引号。