用途:把工作负载需求转化为明确的实时、批处理和专用容量路径,并统一在一个受治理的提供商边界内,使成本与质量行为可观测。
主要能力:划分交互式、离线批处理、训练和预留容量等负载类别;定义类型化提供商适配器与策略服务,用于模型、边界、回退和弃用状态;为突发和异步工作放置有界队列,配合持久 ID 与对账;加入按模型的请求/令牌控制、熔断、用量与成本遥测、质量抽样;定义数据脱敏、保留、租户隔离和密钥轮换;记录降级、模型迁移、批处理恢复、专用容量缩容到零及退出提供商路径。
使用方式:用 Read、Glob、Grep 梳理调用方、信任边界、队列、存储与可观测性;用 WebFetch 获取 Together 当前能力与限制;仅在获批的图表、ADR、接口或配置上使用 Write 或 Edit。每个环境和工作负载权限使用独立的 TOGETHER_API_KEY 引用,凭据保留在服务端,内部调用方独立认证到应用网关,不接触 Together 密钥。
适用场景:需要为 Together AI 设计生产架构、明确容量通道与治理边界的团队。
限制:引入提供商故障转移、跨区域数据移动、专用容量或自动模型替换需经安全、质量、可靠性和成本负责人批准;提供商不可用时应用有界熔断/降级策略,不得无限重试;模型弃用须走已评估的迁移策略;批处理部分失败按 ID 对账并仅重试获批的失败记录。具体价格、模型 ID 等为运行时策略输入,资料未提供固定值。