SuperAPI AI 工具集

free-tier-batch-plan

通用与其它

查看项目

更新于 10-16 01:34

技能介绍

用途:在真正启动一个大型一次性批处理任务之前,先判断它能否放进某个免费层级的速率与 token 预算内,并算出可预期的时间估算,避免任务中途卡住或进度极低。

主要能力与做法:

  1. 统计积压量:条目数,以及每条的 est_tokens_per_item(输入加输出);不确定时实测 3 个样本,不要凭猜。
  2. 查询该层级当前的真实限制(每分钟请求数上限、月度 token 预算),以提供商当前文档为准,不要凭记忆或本文件。
  3. 计算两个数字并同时给出:预算匹配度(条目数 × 每 token 数 对比月度预算,超预算就缩小任务或拆分到多个月);ETA(条目数 ÷ (rpm × 60) 小时),让用户提前知道是 8 小时还是 3 天。
  4. 运行校验脚本,任务不符合预算时会失败;通过后再入队,运行器必须真正按速率限流节流,突发超限会被限流或封禁,从而破坏刚算出的 ETA。

校验方式:写入 batch.json,包含 provider、items、rate_limit_rpm、est_tokens_per_item、monthly_token_budget;再用 node -e 读取该文件并做校验:items 至少为 1,rate_limit_rpm 至少为 1,est_tokens_per_item 必须设置(不确定时实测 3 个样本),若 used = items × est_tokens_per_item 超过 monthly_token_budget 则报错;否则输出条目数、按 rpm 估算的小时数及 token 使用量。

适用场景:低速率上限搭配高月度 token 额度的免费层级(文中举例:Mistral 免费 Experiment 层级,截至 2026-06 约 2 请求/分钟但约十亿 token/月),不适合实时交互,适合无人等待的夜间批处理。

限制与注意事项:任何实时或交互式任务都不应放在 2 请求/分钟的层级;该模式只适合一次性积压任务。免费层级常用提示词改进模型,敏感或机密材料应使用付费层级。该做法回报来自单次大型任务,而非周期性工作;若同一批处理每周运行,应评估付费通道并如实比较。