用途:针对 Mistral 的延迟与吞吐做性能调优,强调先测量再优化,把队列、连接、首事件、生成、工具与应用程序耗时分开,找出主导瓶颈后逐一验证可逆假设。
主要能力:区分聊天、流式、嵌入、批处理、FIM、OCR、音频等不同操作的延迟与批处理特性,只比较兼容操作与当前账户权限;测量队列、连接、首事件、终止、解析、检索、工具与存储各段耗时;调整边界、连接复用、准入、流式体验、检索规模或应用并发;用同一工作负载对比延迟、错误、token、质量、安全与花费;支持金丝雀发布、回归监控与回滚。
使用方式:需准备有代表性的合成基准、明确的质量与安全验收标准,以及不含内容的延迟、token、队列、重试与错误埋点,并记录当前工作区限制与固定模型和请求参数。用 Read、Glob、Grep 检查代码、锁、配置、测试与证据,仅在获批的仓库变更中使用 Write 和 Edit。输出工作负载哈希、前后各段耗时、置信度、质量、安全与花费变化、所选变更、金丝雀与回滚,并说明 SLO 是否真正改善。
限制:仅调用工具不授权网络请求、付费使用、上传、有状态资源、管理变更、部署或删除;实时基准、模型变更、缓存、并发、端点变更或放宽门禁均需审批。性能不得凌驾数据政策,指标不得包含提示、输出、文件、凭据或请求头。快速首事件可能掩盖更差的终止延迟,缓存用户内容可能违反租户隔离与删除要求,并发可能把延迟转移到共享提供商队列。需重复冷热试验、变化并发、测试取消与故障,拒绝任何削弱正确性或隔离的改动。资料未提供具体价格、平台支持范围与官方保证。