SuperAPI AI 工具集

anth-observability

部署与运维

查看项目

更新于 10-15 22:42

技能介绍

用途:为 Claude API 调用添加可观测性,通过结构化日志、Prometheus 指标和成本跟踪,监控延迟、成本、错误与 token 用量,并支持告警与用量对账。

主要能力:在请求边界记录 request_id、模型、状态、stop_reason、token 聚合、缓存计数与耗时,同时排除内容与高基数标识;输出成功与失败指标,覆盖认证、4xx/5xx、429、超时、延迟、花费和剩余速率限制余量;提供请求数、延迟直方图、token 用量、估算成本、剩余速率限制等指标;通过服务端 Usage & Cost API 做用量与账单对账。

使用方式:用包装函数包裹 client.messages.create,捕获响应中的 usage 与 request-id 并写入日志;用 prometheus_client 定义 Counter、Histogram、Gauge 并在响应后更新;按模型定价估算成本;用合成请求验证仪表盘与告警;按有界计划调用服务端用量 API 对账。

适用场景:需要监控 Claude API 延迟、成本、错误率、token 吞吐与速率限制余量的服务端集成。

限制与前提:需先定义 SLO、告警负责人、预算与速率限制阈值、允许的指标标签和遥测保留规则;通过密钥管理器配置服务端认证访问,并在沙箱中用合成请求验证埋点;启用日志、追踪、仪表盘或用量对账前须建立脱敏/过滤策略,提示词、响应、密钥和个人数据不得作为遥测字段;标签需经允许列表校验并限制基数;遥测变更需先金丝雀发布并经负责人批准,校验失败则回滚。输出为可观测性回执,不含提示词、响应、API 密钥、用户 ID 和原始异常体。具体定价与阈值以实际配置为准,资料未提供默认值。