SuperAPI AI 工具集

cohere-cost-tuning

部署与运维

查看项目

更新于 10-16 06:20

技能介绍

用途:为 Cohere 工作负载建立可复现的成本模型,并在通过质量与安全门槛的前提下降低使用成本,适用于成本预测、用量核算与预算控制场景。

主要能力:区分 Chat 输入/输出、Embed 输入、Rerank 搜索与平台基础设施成本;按工作负载类别测量每请求的输入、输出、Embed、Rerank、重试、缓存与失败单元;预测基线、预期与峰值用量;评估模型路由、上下文缩减、检索裁剪、批处理、缓存与去重;设置租户级与全局预算、告警、准入控制及经负责人批准的降级路径;定期将预测与实际账单对账并排查重大偏差。

使用方式:用 Read、Glob、Grep 检查代码、配置与证据;仅用 WebFetch 获取 Cohere 官方最新文档;仅在用户要求实施且目标文件明确时使用 Write 或 Edit,且不得写入凭据或客户内容。认证使用从批准的密钥管理器注入的环境专用密钥,不得打印、持久化、提交或在示例中放置 CO_API_KEY。

限制与边界:不嵌入永久价格表,需记录定价页面日期与适用商业条款;新模型访问与生产容量可能有账户特定条款;更便宜模型或更小上下文仅在代表性评估通过后可用;未经负责人批准,不得暴露或轮换密钥、更改团队角色、接受商业条款、启用敏感生产数据、增加支出或容量、切换生产模型或执行模型提议的副作用;诊断默认只读。输出需返回 API 与模型契约、检查的文件或设置、证据、验证结果、剩余风险、负责人及回滚或下一步,并脱敏密钥、授权头、提示、检索文档、嵌入、客户标识与不受限环境输出。错误处理:未知合同费率标记预测不完整;质量低于下限则拒绝节省变更;重试放大需修复失败处理并计入浪费单元;预算超限则执行已批准的准入控制,不得静默削弱安全。