SuperAPI AI 工具集

WebDataSource

WebDataSource 是一款面向 AI 智能体的可插拔网络爬虫,提供 MCP(Model Context Protocol)就绪的接口,能够将互联网与企业内网数据实时接入智能体工作流。其 WDS API Server 暴露 MCP 端点,供 IDE 和智能体系统连接,当前包含 21 个已注册工具和 7 个提示词,覆盖任务管理、页面抓取、遍历、调度、租户与检索等流程。用户需先部署 WDS API Server,再将 MCP 客户端连接至其 HTTP 端点(若挂载在基础路径下,需在 /mcp 前添加该路径,例如 /wds/mcp)。该工具适合需要为 AI 智能体补充实时网络数据或私有知识库内容的开发与集成场景。

访问官网

工具介绍

WebDataSource(WDS)是一款面向 AI 智能体的可插拔网络爬虫,旨在为智能体系统提供来自互联网和企业内网的实时数据接入能力。其核心是 WDS API Server,该服务器暴露一个 Model Context Protocol(MCP)端点,供 IDE 和智能体系统连接使用。

主要能力方面,当前 MCP 接口包含 21 个已注册工具,覆盖任务、下载、遍历、调度、租户和检索等工作流,另有 7 个已注册提示词,用于将工具组合成常见任务。具体工具包括:使用 WdsGetJobs、WdsGetJobConfig、WdsUpsertJobConfig 和 WdsDeleteJob 管理任务;使用 WdsFetchChunked 抓取单个页面,并通过 WdsGetChunk 轮询和读取内容;使用 WdsUpsertTraversalConfig、WdsRunTraversal 及遍历检查工具存储和运行分层计划;在启用调度时,通过三个 Wds*TraversalSchedule 工具配置周期性运行;在启用检索时,使用 WdsRetrieve 搜索已建立检索索引的内容;使用 WdsDeleteTenant 删除默认 MCP 租户的所有数据。

提示词方面,7 个已注册提示词包括:assess 用于提出遍历提取计划;scrape 用于运行已配置的计划并返回数据;resume 和 sliced-resume 用于爬取并总结站点;index 和 reindex 用于将内容登记到检索索引;query 用于从该索引回答任务。

使用方式上,用户需先部署 WDS API Server,然后将 MCP 客户端连接至其 HTTP 端点。若部署挂载在基础路径下,需在 /mcp 前添加该路径,例如基础路径为 /wds 时,端点为 /wds/mcp。对于 Visual Studio Code 的设置,可参考其 MCP 服务器文档。MCP 工具目录记录了所有已注册名称、参数、默认值、返回模式和操作标志。

典型操作流程包括:抓取页面时,先用 WdsUpsertJobConfig 持久化任务,再以任务名称和绝对 URL 调用 WdsFetchChunked,然后使用返回的任务 ID 轮询 WdsGetChunk 直到内容可用;若页面大于单次响应,可通过 startIndex 和 length 继续读取。运行遍历时,先持久化 JobConfig 和 TraversalConfig,再用 WdsRunTraversal 启动运行并保留 runNum,然后轮询 WdsGetTraversalRunInfo、检查 WdsGetTraversalRunErrors,并分页读取 WdsGetTraversalRunData 直到 dataCursor 为 null。使用检索提示词时,先调用 index(或需要重新登记缓存内容时调用 reindex),登记完成后,以目标 URL 和任务调用 query。

适用场景包括为 AI 智能体补充实时网络数据、将企业内网或私有知识库内容集成到智能体工作流、通过 MCP 在 IDE 中直接调用爬取与检索能力等。限制方面,部分功能(如调度和检索)需在启用后才可用,具体功能可用性需参考 Plans;文档页面建议横屏查看以获得更佳阅读体验。