SuperAPI AI 工具集

cache-cost-tracking

通用与其它

查看项目

更新于 10-16 04:30

技能介绍

本技能用于监控 LLM 成本与缓存有效性,核心依托 Langfuse 的自动追踪能力。

用途:跟踪缓存命中带来的成本节省,并把费用按智能体(agent)归属,服务于多智能体内容分析等流程。

主要能力:通过 langfuse.decorators 的 @observe 装饰器把调用标记为 generation;用 langfuse_context.update_current_trace 设置 trace 名称与 session_id(如 analysis_id),用 update_current_observation 写入 metadata(如 cache_layer、cache_hit、prompt_cache_hit);父 trace 可汇总子 generation 的成本,实现层级化成本卷叠;可按 session_id 查询某次分析的总成本、输入/输出 token 与 cache_read token,并按 agent_type 聚合近 7 天调用次数、成本与命中数;可计算缓存命中率与估算节省金额。

使用方式:在调用链上叠加装饰器与上下文更新;缓存命中返回时标注 L1/L2 层;未命中走 LLM 生成并由 Langfuse 自动记录 token 与费用;查询时用 Langfuse() 客户端按 session_id 或时间窗口拉取 traces 与 generations。关键约定包括用 session_id 分组、用 metadata.agent_type 做成本归属、查询窗口建议 7–30 天、以 Langfuse Web UI 作为看板。

限制与常见错误:子调用未关联父 trace、缺少归属 metadata、未单独统计缓存命中、忽略 prompt 缓存节省。相关技能包括 semantic-caching、prompt-caching、langfuse-observability。收费、价格与具体效果资料暂未提供。