SuperAPI AI 工具集

batch-api-orchestrator

编程与开发

查看项目

更新于 10-15 17:28

技能介绍

用途:帮助判断 LLM 工作负载应使用异步批处理 API 还是实时/流式接口,并据此设计批量作业。批处理通常约为实时价格的一半,但延迟从毫秒升至分钟到小时,适合评测、回填、嵌入、批量分类与抽取,不适合有人在等待的交互场景。该技能不绑定特定模型或厂商,只讨论批处理模式本身。

主要能力:提供两个仅依赖 Python 3 标准库的 argparse 脚本。batch_cost_estimator.py 对比实时与批处理成本、显示节省并给出建议,参数包括 --requests、--avg-input-tokens、--avg-output-tokens、--realtime-input-price、--realtime-output-price、--batch-discount、--latency-tolerance、--json。batch_job_planner.py 生成分块、幂等与部分失败处理方案,参数包括 --total-items、--max-batch-size、--retry-policy、--max-retries、--json。两者均支持 --json 与人类可读输出,可用 --help 查看完整用法。

使用方式:先确认延迟容忍度、请求量与平均输入输出 token 数、真实价格与批处理折扣;信息不明时应询问而非假设。随后运行成本估算脚本,若为交互式工作则建议实时,否则量化批处理节省。再运行作业规划脚本,采用生成的幂等键方案,按请求 id 对账结果,未匹配项进入死信集合,部分失败时只重试失败项而非整批,并按参考文档选择轮询或回调。

适用场景:评测、回填、嵌入、批量分类与抽取等大规模、延迟不敏感、易于并行的工作负载。

限制:默认价格参数为中性占位值,并非真实价格,需自行填入厂商数据;脚本只做规划与估算,不实际调用任何厂商 API;具体分块上限、折扣与完成通知机制需以所用厂商为准,资料未提供具体厂商实现细节。