SuperAPI AI 工具集

cost-aware-llm-pipeline

智能体与模型

查看项目

更新于 10-16 05:05

技能介绍

用途:在调用 Claude、GPT 等 LLM API 的应用中控制成本,同时尽量不牺牲复杂任务的质量。适用于具有不同复杂度的批量项目、成本快速累积的流水线、需要预算安全护栏的生产系统,以及需要智能路由的多模型架构。

主要能力由四个核心概念组成。一是基于任务复杂度的模型路由:按文本长度和项目数阈值决定使用昂贵还是便宜模型,也可通过 force_model 强制指定;文档给出字符数阈值 10000、项目数阈值 30,简单任务使用更便宜模型。二是不可变成本跟踪:用冻结数据类记录模型、输入输出 token 与费用,add 方法返回新跟踪器而不修改原状态,并提供 total_cost 和 over_budget 属性。三是精细化重试:仅对连接错误、频率限制、服务器错误等瞬时错误重试,最多 3 次,采用指数退避,对身份验证或错误请求快速失败。四是提示词缓存:对较长的系统提示词设置 cache_control 为 ephemeral,避免每次请求重复发送。

使用方式上,文档展示了在单个流水线函数中组合四项技术:先路由模型,再检查预算(超预算抛出 BudgetExceededError),然后带重试与缓存地调用,最后以不可变模式记录成本并返回新的跟踪器。

价格参考(2025-2026)显示 Haiku 4.5 与 Sonnet 4.6 的相对成本差异约为 4 倍。最佳实践建议从最便宜模型开始、批量处理前设置明确预算、记录模型选择决策、为超过 1024 tokens 的系统提示词使用缓存、绝不对身份验证或校验错误重试。反模式包括对所有请求都用最贵模型、对所有错误重试、修改成本跟踪状态、硬编码模型名称、忽视提示词缓存。

限制:具体计费方式、实际成本与效果需以所用模型为准;其他平台的适配细节、完整配置项与错误类型暂未提供。