用途:把彼此独立的离线请求转换为可恢复的 Together AI Batch API 任务,并按 custom_id 对账每条成功与失败结果,不依赖输出顺序。
主要能力:校验 JSONL 语法、端点请求体结构、custom_id 唯一性、请求数量与 token 上限;以 purpose="batch-api" 上传文件并记录哈希与文件 ID;用 client.batches.create() 与目标端点创建任务并保存 batch ID;有界退避轮询至终态;下载输出与错误文件,核对数量并做保留清理。
使用方式:先确认请求相互独立且所选模型当前支持批处理;本地校验后上传,创建任务,轮询,最后下载 output 与 error 文件并按 custom_id 合并。认证使用项目级 TOGETHER_API_KEY 作为 Bearer 凭据,需对凭据和敏感请求体做脱敏。
适用场景:适合可异步处理的独立请求批量推理,需要可恢复、可对账的离线任务。
限制与注意:COMPLETED 任务仍可能在 error_file_id 中存在单条失败,必须同时检查两个文件;模型不支持批处理时需显式换模型或改用同步推理;轮询超时须保留 batch ID 交接,不得重复创建任务;ID 无法对账时隔离输出并识别缺失、重复与未知 ID;未经批准不得上传受监管或客户数据,也不得重复提交含义不明的任务以免重复计费。输出应包含输入哈希与数量、端点、模型、文件与任务引用、终态、成功/错误计数、对账结果、成本证据与清理处置。具体官方文档与教程链接资料中未提供。