用途：把 LiteLLM 作为组织的 AI 网关来运维。LiteLLM 提供两种使用面：Python SDK（litellm.completion()，进程内调用）与代理（监听 4000 端口的 FastAPI 服务，带密钥、预算和管理 UI）。通过 litellm --config config.yaml --port 4000 启动代理，客户端用 OpenAI SDK 指向 http://localhost:4000 即可调用 /v1/chat/completions、/v1/embeddings 等接口。
主要能力：配置 model_list 让多个部署共享同一 model_name 组成负载均衡组；选择 simple-shuffle（默认）、least-busy、latency-based-routing 等路由策略；设置 num_retries、fallbacks、cooldowns、enable_pre_call_checks 提升可靠性；用 master_key 与虚拟密钥（POST /key/generate）限定模型、预算与 rpm/tpm；配置 Redis 响应缓存与语义缓存、Presidio 等护栏；通过 success_callback/failure_callback 接入 Langfuse、OTel、Prometheus 等观测；用 /spend/logs 查花费。
使用方式要点：先记录部署（镜像或 pip 版本、config.yaml、模型列表、数据存储），该记录即回滚单元；只读探测（litellm-health、/v1/models、/model/info、日志、花费查询）可直接进行；变更配置、签发或吊销密钥、重启、升级镜像、跑数据库迁移，必须先有明确的人工指令并指定回滚路径。/health/liveliness 返回 200 只证明存活，须用一次代表性的 /v1/chat/completions 请求和 x-litellm-model-id 验证真正可用。错误串含 <Provider>Exception 表示供应商侧失败，不含供应商名则多为网关拒绝（密钥、未知模型、冷却、预算）。
限制与边界：预算功能依赖 Postgres，无数据库时会 fail open（仅在启动时警告）；多实例需 Redis >=7；对外暴露的代理版本下限为 >=1.83.7，管理路由（/key/*、/ui 等）不得暴露，OSS 版 allowed_routes 锁定属企业功能，须在反向代理层限制；LITELLM_SALT_KEY 设置后不要轮换；不要提交任何密钥或 DATABASE_URL；无明确指令不得改动生产代理；引擎选择、单引擎运维、K8s/Docker 基础与反向代理配置不属于本技能。资料未提供具体价格与收费信息。