用途
Cost-Aware LLM Pipeline 提供一组用于在保持质量的前提下控制 LLM API 成本的模式。它把模型路由、预算追踪、重试逻辑和提示缓存组合成一个可组合的流水线，适合构建调用 LLM API（如 Claude、GPT 等）的应用、处理复杂度各异的批量任务，以及需要在预算范围内控制 API 支出的场景。
主要能力
1. 按任务复杂度进行模型路由
根据文本长度和条目数量自动选择模型：简单任务使用更便宜的模型，复杂任务保留给昂贵模型。示例中定义了 Sonnet 与 Haiku 两个模型常量，并设置文本长度阈值 10,000 字符、条目数量阈值 30；当文本长度或条目数达到阈值时选择 Sonnet，否则选择 Haiku（据资料称便宜 3-4 倍）。同时支持通过 force_model 参数强制指定模型。
2. 不可变成本追踪
使用冻结的 dataclass 追踪累计花费。CostRecord 记录模型、输入 token 数、输出 token 数和美元成本；CostTracker 保存预算上限与记录元组。add 方法返回新的 tracker 而不修改自身，total_cost 属性汇总所有记录成本，over_budget 属性判断是否超出预算。
3. 窄范围重试逻辑
仅对瞬时错误重试，对认证或错误请求类错误快速失败。示例中可重试错误包括 APIConnectionError、RateLimitError、InternalServerError，最大重试次数为 3，采用指数退避（2 的 attempt 次方秒）。AuthenticationError、BadRequestError 等则立即抛出。
4. 提示缓存
缓存较长的系统提示，避免每次请求都重新发送。示例中在消息内容里为系统提示文本添加 cache_control: {"type": "ephemeral"}，用户输入作为可变部分单独放置。
使用方式
将四项技术组合到单个流水线函数中：先根据文本长度与预估条目数选择模型；再检查 tracker 是否超预算，超预算则抛出 BudgetExceededError；然后通过带重试与缓存的调用发送请求；最后生成 CostRecord 并以不可变方式更新 tracker，返回解析结果与新的 tracker。
资料还给出 2026 年定价参考表（每百万 token 输入/输出价格与相对成本）：Haiku 3.5（旧版）$0.80/$4.00，0.8x；Haiku 4.5 $1.00/$5.00，1x；Sonnet 5 $2.00/$10.00，2x；Sonnet 4.6 $3.00/$15.00，3x；Opus 4.8 $5.00/$25.00，5x；Fable 5 / Mythos 5 $10.00/$50.00，10x；Opus 4.0 / 4.1（旧版）$15.00/$75.00，15x。
适用场景
- 任何调用 Claude、OpenAI 或类似 LLM API 的应用
- 成本快速累积的批量处理流水线
- 需要智能路由的多模型架构
- 需要预算护栏的生产系统
最佳实践与限制
资料建议：从最便宜的模型开始，仅在达到复杂度阈值时才路由到昂贵模型；处理批次前设置明确的预算上限，尽早失败而非超支；记录模型选择决策以便根据真实数据调整阈值；对超过 1024 token 的系统提示使用提示缓存，可同时节省成本与延迟；绝不对认证或验证错误重试，只重试瞬时故障（网络、速率限制、服务器错误）。
应避免的反模式包括：无论复杂度如何都对所有请求使用最昂贵模型；对所有错误都重试（在永久性失败上浪费预算）；修改成本追踪状态（使调试与审计困难）；在代码库中硬编码模型名称（应使用常量或配置）；对重复的系统提示忽略提示缓存。
关于该技能的具体安装方式、运行环境要求、支持的模型范围与版本兼容性，资料暂未提供。