SuperAPI AI 工具集

cost-allocation

智能体与模型

查看项目

更新于 10-15 18:51

技能介绍

用途:解决 RAG 查询成本归因问题,把供应商账号级总账单拆分到租户、功能与查询维度,供财务、产品与 SRE 使用。

主要能力:拆分成本构成(嵌入、向量库、重排、LLM 生成、存储),其中 LLM 生成通常占比最高应先埋点;支持 OpenAI 的 tiktoken 计数与 API usage 块,Anthropic 的 count_tokens 预估与响应 usage(含 cache_read/cache_write);定价表外置为版本化 YAML/JSON;每类调用输出统一结构化事件;提供按租户月度成本、按查询 p50/p95/p99、缓存命中节省等仓库查询;支持 Grafana、Metabase/Superset、LangSmith、Langfuse、Helicone 等看板;可做预算告警与自动限流。

使用方式:对每次 LLM/嵌入/重排调用写入含 tenant_id、feature、stage、model、*_tokens、cost_usd 的事件;通过包装函数计算成本并记录延迟与状态;用 ContextVar 等方式把 tenant_id 贯穿管道;在仓库(ClickHouse/BigQuery/Snowflake 或 Parquet)做聚合。

限制:供应商用量应以 API 返回为准,本地估算不作计费依据;价格需外部化维护;需同时纳入向量库与 GPU 等基础设施成本;建议每月与供应商发票对账,目标差异小于 2%。文档未提供具体安装命令与收录信息。