用途:这是 LiteLLM 的官方文档集合,LiteLLM 提供统一的 Python SDK 与 Proxy Server,使开发者能用 OpenAI 格式调用 100+ 家 LLM API。
主要内容与主要能力:文档索引共约 664 篇,包含 Providers(170 篇,覆盖 OpenAI、Anthropic、Azure、AWS Bedrock、Google Vertex AI、Gemini、Cohere、Mistral、Groq、Together AI、Fireworks、Deepseek、Ollama、vLLM、Hugging Face、Replicate、Perplexity、Cerebras、Sambanova、xAI 等 80+ 家)、Proxy Server(168 篇,含配置与 Docker/Kubernetes/Helm 部署、虚拟密钥、花费追踪、预算、限流、负载均衡、fallback、路由、模型组、SSO/RBAC、审计日志、护栏、内容审核、UI 仪表盘、团队管理、按标签路由)、Completion & API(30 篇,含对话补全、流式、函数调用、工具使用、视觉、JSON 模式、prompt 缓存、批量 API、token 用量)、Tutorials(57 篇)、Observability(43 篇,含 Langfuse、Datadog、Prometheus、OpenTelemetry、Lunary、Helicone、Traceloop、自定义回调)、Pass-through APIs(15 篇)、Search & Reranking(13 篇)、Caching(3 篇,Redis、S3、内存缓存)、Embedding(3 篇)、Secret Managers(9 篇,AWS Secrets Manager、Azure Key Vault、GCP Secret Manager、HashiCorp Vault)、Extras(贡献、调试、LangChain 集成)。
使用方式:文档以 references/ 目录组织,根级文件包括 references/index.md、references/rules.md、references/exception_mapping.md、references/budget_manager.md 等。回答前需在 references/ 中按关键词检索(grep)相关资料。
适用场景:需要统一接入多家模型提供商、构建 OpenAI 兼容网关、管理密钥与预算、限流路由,或接入可观测性与缓存时。
限制:资料未提供具体安装命令、版本号、收费与价格信息、平台支持细节,也未给出完整代码示例,这些内容暂未提供。