SuperAPI AI 工具集

together-cost-tuning

通用与其它

查看项目

更新于 10-15 23:30

技能介绍

用途:该技能帮助用户基于真实用量与当前价格,而非易过期的价格表,构建可复现的 Together AI 成本模型,用于降低推理支出。

主要能力:按模型、工作负载、token 类别、延迟和成功状态对实测请求分组;抓取当前定价与批量资格并记录来源与时间;将计算成本与 Together 账单分析对账;依次评估输出上限、提示复用/缓存、更小模型和异步批量;在切换模型或端点类型前对质量与延迟做基准测试;比较稳定利用率与专用按分钟容量,输出预测、风险、回滚与负责人。

使用方式:用 Read、Glob、Grep 查找模型选择、token 边界、缓存、批量和遥测逻辑;仅用 WebFetch 获取当前官方定价与资格;用 Write 或 Edit 落地经批准的成本模型、埋点或配置变更。API 工作负载使用 TOGETHER_API_KEY,仅记录聚合用量与项目别名,不记录凭据或敏感请求内容。

适用场景:需要控制 Together AI 月度预算、评估批量折扣或专用推理盈亏平衡的团队。

限制:无 token 字段的用量需先补埋点;目录与发票不一致时历史用账单数据、前瞻用当前目录;批量模型不合格时按同步或其他已测模型定价;专用利用率不确定时先做有界容量测试,不得仅凭表格估算变更生产模型、降低质量/安全控制、提交批量任务或开通专用副本。