SuperAPI AI 工具集

cohere-performance-tuning

测试与质量

查看项目

更新于 10-15 22:42

技能介绍

用途:针对 Cohere 服务进行性能调优,从具体工作负载的实测数据与代表性质量阈值出发,而非照搬通用延迟数字或合成基准结论。

主要能力:解析模型及其当前上下文与输出上限;分别测量 Chat 首事件时间与完成时间,并与应用队列、检索时间区分;在文档约束内批量处理 Embed 输入并跟踪每分钟输入量;依据代表性查询的实测相关性与延迟,在 Rerank v4 pro 与 fast 之间选择。

使用方式:先定义代表性工作负载、质量下限、延迟目标、并发与成本上限;对队列、检索、提供方、首事件、完成与后处理耗时做埋点;用固定输入和已解析模型 ID 建立冷热基线;每次只改一个变量(模型、上下文大小、输出上限、流模式、Embed 批大小、Rerank 候选数或缓存);拒绝以牺牲质量、引用、安全或成本阈值为代价的提速。认证使用从批准密钥管理器注入的环境专用密钥,不得打印、持久化、提交或把 CO_API_KEY 写入示例。

适用场景:需要可复现、可回滚的 Cohere 性能与检索质量优化,并保留证据与置信区间。

限制:密钥创建、轮换、撤销、角色变更、生产容量与模型切换等需负责人批准;诊断默认只读,除非明确要求实现;输出需脱敏密钥、授权头、提示、检索文档、嵌入与客户标识。基准波动、质量下降、429 限流与缓存泄漏均有对应处理约定。