用途:在高流量 LLM 追踪场景下处理 Langfuse API 速率限制,优化 trace 摄取,避免 429 错误导致数据丢失。
主要能力:
- SDK 批处理调优:v3 通过 flushAt、flushInterval、requestTimeout 配置;v4+ 通过 OTel 的 LangfuseSpanProcessor 设置 exportIntervalMillis 与 maxExportBatchSize。
- 指数退避重试:对 scores、datasets、prompts 等自定义 API 调用实现 withRetry,仅对 429 与 5xx 重试,优先遵循 Retry-After 头,否则使用指数退避加随机抖动。
- 队列并发限制:使用 p-queue 限制并发数与每秒请求数,例如 concurrency: 10、interval: 1000、intervalCap: 50,并可监控 pending 与 size。
- 可配置采样:TraceSampler 按采样率与每分钟上限决定是否追踪,错误或 critical 标签始终采样。
使用方式:先安装并配置 Langfuse SDK,针对高流量工作负载(1000+ 事件/分钟)按步骤调整批处理、加入重试、引入队列与采样。
适用场景:Hobby、Pro、Team、Enterprise 等不同层级的高并发追踪、评分提交与数据集写入。
限制:资料未提供具体价格、平台支持范围与完整官方文档;示例代码需按实际 SDK 版本调整。