SuperAPI AI 工具集

llamacpp-tuner

编程与开发

查看项目

更新于 10-16 00:02

技能介绍

用途:针对本地编码智能体工作负载(长上下文、大量提示复用、对延迟敏感的工具调用)检查运行中的 llama-server,定位瓶颈,提出调优配置,做前后基准测试并给出量化差异。

主要能力:按 9 步顺序工作流执行——远程预检、发现机器、发现运行中的服务、抓取模型卡、提出配置、用户批准、基准测试(前)、应用配置(kill 后重启)、基准测试(后)、最终报告。基准脚本覆盖 256/2k/8k/32k/64k 五种提示长度,分别测冷启动与热启动。

使用方式:先运行 python3 scripts/tuner_preflight.py 判断 LLAMACPP_BASE_URL 是否为本地回环;本地则继续。用 pgrep -fa llama-server 等命令发现服务,用 python3 scripts/fetch_model_card.py --model "<path-to-loaded-.gguf>" 或 --repo <org>/<repo> 抓取模型卡。基准用 python3 scripts/bench_agent.py --base http://127.0.0.1:<port> --out /tmp/bench-before.json。应用配置需用户批准后 kill 并重启。

适用场景:本地 llama.cpp 编码智能体调优,如让本地模型更快、为 Claude Code / Codex / Aider 优化 llamacpp、寻找最佳 llama-server 配置。

限制:仅针对本地 llama-server;远程端点会跳过。不适用于 vLLM、Ollama(仅可作为内存占用嫌疑对象)、text-generation-webui 或专有推理引擎。调优不涉及采样参数。模型卡抓取为尽力而为,失败不阻断流程。重启服务前必须获得用户批准,失败需恢复原命令行。具体参数建议与效果取决于实际硬件与工作负载,资料未提供通用保证。