SuperAPI AI 工具集

batch-processing

通用与其它

查看项目

更新于 10-16 01:28

技能介绍

用途:该技能用于通过 Anthropic 的 Message Batches API 处理大批量请求,相比标准 API 可节省约 50% 成本,适合非时效敏感的工作负载。

主要能力:支持批量作业、JSONL 处理、批量分析与成本优化;适用于处理 1 万份以上文档、模型评估与基准测试、ETL 与数据增强、训练数据生成、批量内容分析等场景。批量任务支持工具、视觉和系统提示等完整功能。

使用方式:先创建 JSONL 文件,每行是一个完整请求,包含 custom_id 与 params(model、max_tokens、messages 等);再用 client.beta.messages.batches.create(requests=f) 提交批次;随后轮询 client.beta.messages.batches.retrieve(batch_id) 直到 processing_status 为 ended;最后通过 client.beta.messages.batches.results(batch_id) 流式读取结果。相关端点包括 POST /v1/messages/batches 创建、GET /v1/messages/batches/{id} 查询状态、GET /v1/messages/batches 列出、POST /v1/messages/batches/{id}/cancel 取消、GET /v1/messages/batches/{id}/results 流式获取结果。

限制:批处理最长需 24 小时,结果保留 29 天;不适合时效敏感请求,不能期望立即返回结果。需处理 errored、expired、canceled 等结果类型,并建议保存原始参数以便重试。

最佳实践:请求量超过 100 时使用;为每个请求设置唯一 custom_id;轮询监控批次状态;以流式 JSONL 处理结果;批量相似请求、结合缓存、按任务复杂度选择模型并精简提示词以优化成本。