SuperAPI AI 工具集

agent-cost-modeling

智能体与模型

查看项目

更新于 10-15 19:50

技能介绍

用途:在 LLM 智能体上线前与上线后建模成本,帮助做部署规划、模式对比、模型档位选择,以及排查成本突增。核心观点是“按任务计价,而非按调用计价”。

主要能力:给出每任务成本公式 cost_per_task = Σ (calls_per_task × tokens_per_call × price_per_token) + retrieval_cost + tool_cost - cache_savings,共六项,漏掉任一项都可能让预测偏差达 5 倍。提供决策流程:先确定每任务成本上限(美元),再拆解任务调用图(模型调用数与工具调用数),识别跨调用重复的提示前缀作为缓存面,判断哪一步需要最大模型、其余能否用小档位,并考虑失败与重试率。

模式成本经验比例:单次工具调用为基线 1.0×;ReAct 循环约 2–5×;Plan-and-Execute 约 1.5–2×;Reflexion/critic 每轮约 2–4×,需硬性限制迭代;Supervisor + N workers 最好 N+1×,若 worker 重复拉取完整上下文可达 2N+1×;分层结构若无显式预算约束则成本不封顶。比例近似,但跨供应商较稳定,可用于架构合理性检查。

五条规则:开发阶段按阶段测量 token;缓存是第一杠杆而非最后手段;通过评测的最小模型胜出;循环上限写在控制器代码而非提示词;成本按成功任务计,分母需含重试、失败与放弃会话。

需向用户确认:每任务成本上限、当前调用图、p50/p95 每次调用 token 数、缓存命中率及测量位置、重试率是否计入、流量形态(每天 100 任务还是每小时 10 万)。若无法回答成本上限,单位经济性将无从定论。

限制与反模式:仅按价目表选最便宜模型而不做质量评测、忽略缓存、只算模型成本、用一个价格覆盖多种任务类型、缺少按发布版本的成本看板。资料未提供具体价格、平台或安装命令。