用途:Llamafile 将 llama.cpp 与 Cosmopolitan Libc 结合,生成可在 macOS、Windows、Linux、FreeBSD、OpenBSD、NetBSD 上运行的单文件可执行程序,支持 AMD64 与 ARM64,用于本地加载 GGUF 模型推理,并暴露 OpenAI 兼容 API,适合无云 API 的本地 LLM 应用、提交信息工具、代码审查等开发场景。
主要能力:以 --server 启动后提供 /v1/chat/completions、/v1/completions、/v1/embeddings(需 --embedding)及 /health 端点;支持 CUDA、Metal、Vulkan GPU 加速;可下载内嵌模型的预打包 llamafile,或单独下载 GGUF 配合二进制使用。
使用方式:下载二进制后 chmod 755 llamafile,用 ./llamafile --server -m model.gguf --nobrowser --port 8080 --host 127.0.0.1 启动;性能调优可用 --ctx-size、--n-gpu-layers 99、--threads、--cont-batching、--parallel、--mlock。集成 LiteLLM 时模型名须用 llamafile/ 前缀,api_base 须含 /v1;OpenAI SDK 的 base_url 同样须含 /v1,api_key 可填占位值。可用 curl 访问 /health 与 /v1/chat/completions 验证。
限制与注意:默认端口为 8080 而非 8000;绑定 0.0.0.0 会暴露 API,仅限可信环境;CPU 环境设置 --n-gpu-layers 会报错;需确保 GGUF 路径可读、二进制可执行。当前稳定版 0.9.3(2025-05-14)。