用途:使用 Langfuse 内置的 token 与成本追踪、Metrics API、模型路由和预算告警,跟踪、分析并优化 LLM 调用成本。
主要能力:Langfuse 在捕获 token 用量后会自动为支持的模型(OpenAI、Anthropic、Google)计算成本;自定义模型可在 Settings > Model Definitions 配置价格。成本追踪作用于 generation 和 embedding 类型的 observation。UI 提供成本仪表盘、延迟仪表盘、自定义仪表盘与多级定价(缓存 token、音频 token、按模型分层)。
使用方式:自动追踪可用 observeOpenAI 包装客户端;手动追踪需在 generation observation 中提供 model 与 usage(promptTokens、completionTokens、totalTokens),可选 costInUsd 覆盖推断成本。Metrics API 需安装 @langfuse/client,通过 LangfuseClient 的 traces.list 与 observations.list 拉取数据并按模型聚合成本。模型路由可按任务复杂度与输入长度选择更便宜的模型。预算告警脚本可作为 cron 任务运行,按日成本阈值触发告警。
适用场景:跟踪 LLM 支出、识别成本异常、实施降本(模型降级、提示优化、响应缓存、批处理、token 限制)。
限制:需先完成 Langfuse tracing 并捕获 token 用量;Metrics API 需安装 @langfuse/client;需了解 LLM 定价模型。缺失成本数据通常因未提供 usage;成本计算错误多因模型名不匹配;自定义模型需手动配置价格,且价格变动后需更新模型定义。具体收费、价格与效果资料未提供。