用途:用 Together AI 当前响应头与实测负载驱动的自适应限流,替代固定配额表,控制无服务器并发。
主要能力:按组织与模型维护独立的请求和令牌预算;每次响应读取 x-ratelimit-* 与 x-tokenlimit-* 字段并保存状态;在文档说明转换时把显示的 RPM 视为每秒执行预算;通过有界队列准入工作,为交互流量和重试预留余量;遇 429 时依据重置信息、加入抖动并在截止时间停止;用批处理应对可延迟突发,用专用容量获得可预测吞吐。
使用方式:先用 Read、Glob、Grep 定位并发、队列、重试与遥测代码,用 WebFetch 获取当前动态限流响应头约定,确认目标限流器与测试后再用 Write 或 Edit 修改。步骤包括盘点调用方、模型、并发、令牌大小、队列深度与现有重试;从脱敏响应中采集限流字段;按模型和组织上下文建立请求与令牌预算;在批准范围内做负载测试,再据实测需求选择无服务器、批处理或专用容量。
限制与边界:不得编造固定限额,限流后不得提高重试并发,未经明确成本与容量批准不得迁移到付费预留硬件。限流响应头缺失时保守回退并上报传输可见性阻塞;429 持续时降低并发而非倍增重试;队列超期按策略失败或延迟;突发占主导时评估 Batch API。认证使用项目级 Bearer 密钥,仅记录数值响应头与模型别名,不保留凭据或敏感正文。输出包括观测响应头、每模型限流设置、队列与重试预算、负载测试证据、丢弃或延迟的工作及容量建议。具体模型 ID、流量画像、预算与决策负责人等前提需由使用者提供,资料未给出具体数值。