用途:把 Mistral 的提供方限额视为工作区共享容量而非固定常量,按实测需求准入任务,保留截止时间与公平性,并在重试风暴耗尽剩余预算前主动卸载负载。适用于处理限流、规划吞吐量或设计背压策略。
主要能力:采集当前工作区请求、令牌与支出限额及观测时间;按操作、模型、请求、令牌与并发度量需求;定义共享准入桶与有界队列并保证租户公平;遵循显式重试时序,否则仅对安全瞬时故障使用带上限的抖动;在截止时间、尝试次数、令牌或支出预算耗尽时停止并返回类型化过载;本地压测后再对已批准流量做金丝雀发布并比较队列与 SLO 证据。
使用方式:需先具备 Admin Panel 中的当前工作区请求、令牌与支出限额,每操作截止时间、优先级、幂等性与最大尝试策略,以及已准入、排队、节流、重试、完成、放弃等指标。用 Read、Glob、Grep 检查代码、锁、配置、测试与证据,仅对已批准的仓库变更使用 Write 与 Edit。仅调用本身不授权网络请求、付费使用、上传、有状态资源、管理端变更、部署或删除。实时负载、提额、容量变更或回退模型需审批。
限制:限额因工作区而异,不得把示例数值当作默认值;额外 API 密钥不会产生独立容量;进程内限流器会在多副本间超额订阅共享容量;用户截止时间后的重试浪费令牌并加剧过载;回退会改变质量、驻留、上下文与成本。遥测不含密钥、提示、响应与文件,管理端检查需单独授权身份。具体数值、价格与端点暂未提供,需以带日期的第一方证据为准。