用途:Diffbot 的目标是把原始网络内容转化为结构化的知识,供程序化查询与使用,覆盖单页提取、站点级数据采集、自然语言结构化、知识图谱查询和网页搜索等环节。资料中以“研究 Prometheus 并起草销售简报”作为代理运行示例,说明这套能力可被串联调用,且每一步都是可检查的真实 Diffbot API 调用。
主要能力:
- 单页抽取:从单个 URL 分类并抽取结构化、带有倾向性的 JSON,官方强调该过程不依赖大语言模型,因此不会产生幻觉。
- 整站爬取:从单个种子 URL 遍历整个站点,将数千个页面抽取到同一个结构化数据集中。
- 自然语言结构化:从纯文本中解析实体、关系、事实和情感。
- 知识图谱查询:针对其称为“世界最大公共网络知识图谱”运行结构化查询,可查询公司、人物、新闻等内容。
- 网页搜索:超低延迟搜索,无广告、无遥测,面向自托管与 API 访问。官方称 Web Search API 当前 P90 延迟低于 300 毫秒,并在与同类“快速”模式匹配的 NDCG 上表现相当;若选择自托管,根据硬件与分片优化情况,延迟可再改善 20-100 毫秒。
使用方式:资料提及可通过 API 访问,并提供自托管选项;示例流程为“提示—运行代理(RUN AGENT)—查看转录”,代理运行时每一步对应真实的 Diffbot API 调用。索引可被精简打包(示例为 4TB 的核心新闻、文档、主页、食谱等),并可在离线场景下随身携带使用。资料未提供具体安装命令或代码示例。
适用场景:需要将网页批量转化为结构化数据的采集与数据集构建;从文本中提取实体、关系、事实与情感;对公司、人物、新闻等公共网络信息进行结构化查询;以及对延迟敏感、要求无广告无遥测并可自行托管的网页搜索。
限制:官方称抽取过程不依赖 LLM,这是其避免幻觉的机制说明。搜索索引为精简版本(示例 4TB),并非完整网络索引。延迟与性能数字为官方描述,实际表现取决于硬件与分片优化。资料未提供定价、收费模式、平台支持、安装命令及具体 API 参数等事实。