用途:在 LLM 功能上线前先算清单位成本与尾延迟,避免上线后被账单和响应速度意外困扰;适合估算 LLM API 成本、设定延迟与 token 预算的场景。
主要能力:
- 按请求做 token 账,列出 system prompt、检索上下文、用户输入、输出各部分的 token 估算及对应模型单价下的成本。
- 月度成本预测:单请求成本乘以当前及目标规模的请求量。
- 模型分层/级联:把简单请求路由到更便宜更快的模型,仅难请求升级,计算混合成本。
- 延迟预算:分析 p95 来源(模型首 token 时间、输出长度、检索、网络)、目标值以及流式对感知延迟的影响。
- 成本杠杆:按影响排序,包括提示/上下文裁剪、提示缓存与响应缓存、限制输出长度、批处理、分层,以及判断该路径是否必须用模型。
- 护栏:每用户/每日限流、max_tokens 上限、支出告警阈值和紧急开关。
必要输入:请求形态及各部分大致 token 量、当前与目标规模请求量和峰值并发、候选模型及单价、可接受单请求或每用户月成本与 p50/p95 延迟目标。
质量检查要点:token 估算需分项而非猜测;月度成本按目标规模预测;先考虑模型分层再全量使用旗舰模型;以 p95 而非平均延迟为目标并考虑流式;评估重复提示/上下文缓存;明确支出告警、限流与紧急开关。
反模式:不要只按平均延迟做预算;不要默认每次调用都用最强模型;不要忽略输出 token 通常比输入更贵;不要在没有支出上限和告警的情况下发布;不要先优化再测量,应先分项统计真实用量再动最大杠杆。
限制:该技能本身只提供估算与预算框架,具体模型价格、实际 token 用量与上线效果需用户自行提供或验证;资料未提供具体工具集成方式与示例数据。