SuperAPI AI 工具集

observability-architecture

部署与运维

查看项目

更新于 10-16 00:04

技能介绍

LiteLLM-RS 通过三大支柱实现可观测性:Prometheus 指标、OpenTelemetry 追踪和结构化 JSON 日志,用于观测网关运行情况。

指标方面,使用 prometheus 库定义请求计数、延迟直方图、Token 计数、成本追踪、活跃连接与流、缓存命中、Provider 健康、错误及限流等指标,并通过 registry 注册,暴露在 /metrics 端点。

追踪方面,通过 OpenTelemetry OTLP 导出器与 tracing_subscriber 初始化链路,支持采样率与资源属性配置;可为 provider 请求创建 span 并记录 token、耗时、状态等属性,并借助中间件将请求 ID 注入 http_request span。

日志方面,使用 tracing_subscriber 按配置输出 JSON 或 pretty 格式,支持 EnvFilter、目标、文件与行号,日志事件可携带请求 ID、provider、模型、延迟、错误类型等结构化字段。

健康检查提供 /health、/health/live、/health/ready 端点,检查各 provider 与 Redis 状态,返回整体与组件级健康信息及延迟。

告警集成给出 Prometheus 告警规则示例,例如高错误率与 provider 不健康。原文未提供安装命令、收费与平台信息。