用途:为使用 Cohere API 的生产项目提供实践参考,涵盖模型选择、API 配置、错误处理、成本优化与架构模式。
模型选择:通用对话/推理用 command-a-03-2025;带引用的 RAG 用 command-r-plus-08-2024;成本敏感任务用 command-r-08-2024;英文嵌入用 embed-english-v3.0,多语言(100+ 语言)用 embed-multilingual-v3.0;重排序可用 rerank-v3.5,高质量用 rerank-v4.0-pro,低延迟用 rerank-v4.0-fast。
API 配置:新项目统一使用 ClientV2,避免旧客户端:co = cohere.ClientV2()。温度按场景设置:智能体/工具调用用较低温度(如 0.3),创意任务用较高温度(如 0.7),需确定性输出用 0。
嵌入:必须指定 input_type,索引文档用 search_document,查询用 search_query,且查询与索引必须一致,否则检索质量显著下降。建议一次调用批量嵌入(最多 96 条文本)并缓存嵌入结果。
RAG:采用两阶段检索,先用嵌入做宽召回,再用 rerank 精排;生成时引入 command-r-plus-08-2024 并传入 documents,可通过 response.message.citations 读取引用文本与来源。
错误处理:捕获 cohere.core.ApiError,对 429 采用指数退避重试,对 5xx 服务端错误可延迟重试,其他错误直接抛出,并设置最大重试次数。
成本优化:按任务选合适模型、批量嵌入、缓存嵌入、仅在质量重要时重排序、使用流式输出改善体验(不额外计费)。
限制:以上为生产实践建议,具体模型可用性、限流与计费以 Cohere 官方文档为准;资料未提供价格、配额或平台细节。