用途：liter-llm 是统一 LLM API 客户端，Rust 内核 + 多语言原生绑定，一套接口访问 143 家提供商（OpenAI、Anthropic、Google Gemini、Groq、Mistral、Cohere、AWS Bedrock、Azure 等）。
主要能力：覆盖 chat 补全、流式、工具/函数调用、结构化输出、嵌入、图像生成、音频（语音、转录）、审核、网页搜索、OCR、重排、批处理与文件操作。通过 model 中的 provider/model 前缀选择后端，例如 openai/gpt-4o、anthropic/claude-sonnet-4-20250514、google/gemini-2.0-flash；也可设 model_hint 跳过前缀。内置中间件：响应缓存、限流（RPM/TPM）、成本跟踪、预算强制（hard/soft）、回退链、断路器冷却与后台健康检查。另含 12 家搜索提供商、4 家 OCR 提供商。代理服务 liter-llm api 提供 OpenAI 兼容网关，22 个 REST 端点、虚拟 API key、预算与 SSE 流；MCP 服务 liter-llm mcp 暴露 22 个工具，供 Claude Code、Claude Desktop 等 MCP 客户端使用。
安装：CLI 可用 brew install xberg-io/tap/liter-llm；或 npx @xberg-io/liter-llm-cli --help、uvx --from liter-llm-cli liter-llm --help；或 cargo install liter-llm-cli；或 docker pull ghcr.io/xberg-io/liter-llm。各语言绑定：Python pip install liter-llm，Node.js pnpm add @xberg-io/liter-llm，Rust cargo add liter-llm，Go go get github.com/xberg-io/liter-llm/packages/go，Ruby gem install liter_llm，PHP composer require xberg-io/liter-llm，C# dotnet add package XbergIo.LiterLlm，WASM pnpm add @xberg-io/liter-llm-wasm。
使用方式：SDK 通过 create_client 传入 api_key、base_url、timeout_secs、max_retries、model_hint；完整配置写入 liter-llm.toml（SDK）或 liter-llm-proxy.toml（代理），二者从当前目录向上自动发现。API key 从环境变量读取，如 OPENAI_API_KEY、ANTHROPIC_API_KEY、GEMINI_API_KEY、GROQ_API_KEY、MISTRAL_API_KEY、CO_API_KEY 及 AWS 凭据。代理启动：liter-llm api --config liter-llm-proxy.toml；MCP：liter-llm mcp --transport stdio 或 liter-llm mcp --transport http --port 3001。
适用场景：在 agent 会话中直接用 MCP 服务调用 LLM；在应用中用对应语言 SDK 编写代码；为多应用/团队集中提供带密钥、预算和限流的 OpenAI 兼容入口。
限制与注意事项：未设置 model_hint 时必须使用 provider/model 前缀，否则路由失败；密钥按 SecretString 处理，不记录不序列化，勿硬编码；Python 方法为异步，需在 async 环境 await；命名约定因语言而异（TS/Node/WASM/C#/Java 用 camelCase，其余用 snake_case）；流式分片的 content 可能为 null，使用前需判空；hard 预算模式拒绝超额请求，soft 仅记录。具体收费与价格信息暂未提供。