SuperAPI AI 工具集

glean-rate-limits

数据与分析

查看项目

更新于 10-15 23:26

技能介绍

用途:整理 Glean API 的速率限制规则,并给出限流、重试与批量处理的实现思路,帮助大规模文档摄取管道避免 429 响应导致的中断。

主要能力与限制参考:Indexing 单文档 100 请求/分钟;Indexing 批量(每请求 100 文档)20 请求/分钟;搜索查询 60 请求/分钟;人员搜索 30 请求/分钟;实体抽取 40 请求/分钟。以上均按 API token 计,窗口为 1 分钟。

使用方式:实现令牌桶限流器(GleanRateLimiter),按每分钟上限设置 max 与 refillRate,通过 acquire() 获取令牌;批量索引时按 100 文档分批,批间隔约 4 秒,并保留缓冲(如批量限流设为 18)。重试策略对 429 读取 Retry-After 并加随机抖动,对 5xx 使用指数退避,设置最大重试次数。

错误处理:批量索引 429 需拉开批次间隔;413 表示批次超过 100 文档或 10MB,需拆分;搜索 429 可缓存结果 30 秒;部分失败检查 failedDocuments 数组并重试;401 需在长任务前刷新 token。

前置条件:需获批的每操作预算、响应头基线观测、含合成请求的测试环境、写入幂等键、有界队列与死信路径,以及明确的调用方身份和数据源范围。

输出:返回限流回执,包含操作范围、请求/受限/延迟计数、重试策略版本、幂等结果、队列状态、金丝雀结果与回滚引用,省略 token、敏感 URL 与载荷。

适用场景:从 Confluence、Notion 或内部 wiki 摄取 10 万级以上文档的知识库索引任务。限制:具体配额可能随账户或版本变化,需以官方开发者门户为准;资料未提供价格与平台支持信息。