用途:llmfit 检测本机硬件(RAM、CPU、GPU),对数百个 LLM 模型按质量、速度(估算 tok/s)、适配度(显存余量)、上下文容量打分,告诉你哪些模型能在你的硬件上良好运行。
主要能力:适配等级分为 perfect、good、marginal、too_tight;支持 GPU、CPU+GPU 卸载、纯 CPU、MoE 运行模式;自动选择最佳量化(如 Q4_K_M、Q5_K_S、mlx-4bit);支持多 GPU 与 Ollama、llama.cpp、MLX、Docker Model Runner 等本地运行时;提供交互式 TUI、CLI、REST API 服务器,以及反向的硬件规划(plan)功能。
使用方式:安装可用 brew install llmfit、curl -fsSL https://llmfit.axjns.dev/install.sh | sh(加 --local 免 sudo 装到 ~/.local/bin)、scoop install llmfit、docker run ghcr.io/alexsjones/llmfit,或从源码 cargo build --release。常用命令:llmfit 启动 TUI;llmfit --cli 输出表格;llmfit system 查看硬件;llmfit list / search 列出与搜索模型;llmfit fit --perfect -n 5 查看完美适配;llmfit info "Mistral-7B" 查看详情;llmfit recommend --json --use-case coding --limit 3 按用途推荐;llmfit plan "Qwen/Qwen3-4B-MLX-4bit" --context 8192 规划所需硬件;llmfit serve --host 0.0.0.0 --port 8787 启动 REST API。可用 --memory=24G 覆盖显存、--max-context 限制上下文,或设置 OLLAMA_CONTEXT_LENGTH。
适用场景:判断某模型能否在本机运行、为编码/推理/聊天等用途挑选模型、为集群调度提供节点能力接口、脚本自动化选择并拉取模型。
限制:资料未提供收费、价格与平台支持范围等细节;自动检测在虚拟机、nvidia-smi 异常或直通环境下可能失败,需手动覆盖;Apple Silicon 统一内存会显示为系统 RAM,属预期行为。