SuperAPI AI 工具集

langchain-cost-tuning

智能体与模型

查看项目

更新于 10-15 23:27

技能介绍

用途:针对 LangChain 1.0 生产应用做成本调优,解决账单与仪表盘不一致、重试重复计费、缓存失效或返回错误答案、智能体循环烧钱等问题。

主要能力:

  1. Token 计量:统一读取 AIMessage.usage_metadata(含 reasoning 与 cache 字段),避免依赖 provider 特有的 response_metadata["token_usage"]。
  2. 流式准确聚合:用 astream_events(version="v2") 监听 on_chat_model_stream,替代在流结束后才触发的 on_llm_end。
  3. 重试去重:按 request_id 去重,避免重试中间件重复上报导致仪表盘少计约 50%。
  4. 模型分层:按意图分类/路由用便宜模型、生成/推理用贵模型,附 2026-04 每百万 token 价格快照与决策树。
  5. 缓存经济性:用 CacheLedger 按会话/租户聚合 Anthropic cache_read 与 cache_creation,计算相对无缓存的节省。
  6. 缓存键:绑定工具的链不能用 InMemoryCache,需用 SQLiteCache 或 RedisSemanticCache 并加入工具指纹。
  7. 语义缓存阈值:默认 score_threshold=0.95 命中率低于 5%,需用金标对校准到 0.85-0.90。
  8. 按租户预算:Redis 计数实现软告警与硬拒绝,硬上限命中时允许在途调用、拒绝新调用,UTC 日界重置。
  9. 智能体循环上限:create_react_agent 默认 recursion_limit=25,交互场景设 5-10,批处理设 10-15;trim_messages 需传 include_system=True、start_on="human"。

使用方式:需 Python 3.10+、langchain-core 1.0.x、langchain-anthropic 1.0.x、langchain-openai 1.0.x,可选 redis-py >= 5.0;需有 Anthropic/OpenAI 控制台权限以核对 usage_metadata 与实际账单。按步骤依次实施计量、去重、分层、缓存与预算中间件。

适用场景:LangChain 1.0 生产应用的账单对账、成本异常排查、多租户预算控制、缓存策略调优。

限制:价格快照需以官方定价页为准;模型分层需先用金标集评估质量,避免质量静默下降;语义缓存阈值需自行校准;资料未提供完整中间件类与 Redis schema 细节。