SuperAPI AI 工具集
合作ENAI 行业资讯收藏
全部工具AI智能体olostep-mcp-server

olostep-mcp-server

Olostep MCP Server 是一个基于 Model Context Protocol（MCP）的服务器实现，将 Olostep 的网页抓取、内容提取与搜索能力集成到任何兼容 MCP 的 AI 智能体中。它支持以 HTML、Markdown、JSON 或纯文本格式抓取网站内容，提供基于解析器的结构化网页搜索、带引用来源的 AI 答案、最多 1 万条 URL 的批量抓取、从起始 URL 自主爬取整站、网站 URL 发现与映射、按国家路由请求、针对 JavaScript 密集型网站的可配置等待时间以及完善的错误处理。使用前需要 Olostep API 密钥，可通过远程端点、Docker、npx 或 Smithery CLI 等多种方式连接，适用于 Cursor、Claude Desktop、Claude Code、Windsurf、VS Code、Metorial 等客户端。

访问官网

工具介绍

Olostep MCP Server 是 Olostep 官方提供的 Model Context Protocol（MCP）服务器实现，用于把 Olostep 的网页抓取、内容提取和搜索基础设施接入任何兼容 MCP 的 AI 智能体，使其能够实时抓取、爬取、批量提取和搜索网页。

用途

该服务器面向需要让 AI 智能体访问实时网页数据的场景，提供抓取、爬取、批量提取与搜索能力。使用前需要拥有 Olostep API 密钥，可在 Olostep 网站注册获取。

主要能力

  • 以 HTML、Markdown、JSON 或纯文本格式抓取网站内容（支持可选解析器）。
  • 基于解析器的网页搜索，返回结构化结果。
  • 带引用来源的 AI 答案，支持可选的 JSON 结构化输出。
  • 批量抓取最多 1 万条 URL。
  • 从起始 URL 自主爬取整站。
  • 网站 URL 发现与映射（支持包含/排除过滤）。
  • 按国家路由请求，获取地理定位内容。
  • 针对 JavaScript 密集型网站的可配置等待时间。
  • 完善的错误处理与报告。
  • 简单的 API 密钥配置。

使用方式

可通过多种方式连接 Olostep MCP Server：

  1. 远程端点（推荐）：无需本地安装，直接连接托管的 MCP 服务器。认证通过 Authorization 请求头中的 Bearer token 使用 Olostep API 密钥完成。
  2. Docker：拉取并运行官方 Docker 镜像；也可从源码本地构建。
  3. npx：无需安装即可运行，支持 Windows PowerShell、Windows CMD，或全局安装。
  4. Smithery CLI：在设备终端中安装。

客户端配置示例：

  • Cursor：在项目根目录创建或编辑 .cursor/mcp.json；或通过 Cursor 设置 > Features > MCP Servers 添加，命令为 env OLOSTEP_API_KEY=your-api-key npx -y olostep-mcp。
  • Claude Desktop：添加到 claude_desktop_config.json，或使用 Docker。
  • Claude Code：添加远程端点，或使用本地方式。
  • Windsurf：添加到 ./codeium/windsurf/model_config.json。
  • VS Code：添加到 .vscode/mcp.json。
  • Metorial：支持一键安装（在 Metorial 仪表板中搜索 Olostep 并输入 API 密钥）或手动配置。

环境变量：

  • OLOSTEP_API_KEY：Olostep API 密钥（必填）。
  • ORBIT_KEY：可选，用于通过 Orbit 路由请求。

可用工具

  1. Scrape Website（scrape_website）：从单个 URL 提取内容，支持多种格式和 JavaScript 渲染。参数包括 url_to_scrape（必填）、output_format（html、markdown、json 或 text，默认 markdown）、country（可选国家代码）、wait_before_scraping（0-10000 毫秒）、parser（可选解析器 ID）。
  2. Search the Web（search_web）：根据查询搜索网页并获取结构化结果（非 AI，基于解析器）。参数包括 query（必填）、country（可选，默认 US）。
  3. Answers (AI)（answers）：搜索网页并返回 AI 驱动的答案，支持自定义 JSON 结构，带来源和引用。参数包括 task（必填）、json（可选 JSON schema/对象或输出形状描述）。返回 answer_id、object、task、result（如提供 JSON）、sources、created。
  4. Batch Scrape URLs（batch_scrape_urls）：同时抓取最多 1 万条 URL。返回 batch_id、status、total_urls、created_at、formats、country、parser、urls。
  5. Create Crawl（create_crawl）：启动异步爬取，自主发现并抓取整个网站，返回 crawl_id，后台运行，需再调用 get_crawl_results 轮询状态并获取页面。返回 crawl_id、object、status、start_url、max_pages、created、formats、country、parser。注意：爬取与批量是独立资源，不要将 crawl_id 传给 get_batch_results。
  6. Create Map（create_map）：获取网站上的所有 URL，用于发现和分析。返回 map_id、object、url、total_urls、urls、search_query、top_n。
  7. Get Webpage Content（get_webpage_content）：以干净的 markdown 格式检索网页内容，支持 JavaScript 渲染。参数包括 url_to_scrape（必填）、wait_before_scraping（默认 0）、country（可选）。
  8. Get Website URLs（get_website_urls）：搜索并检索网站上的相关 URL，按与查询的相关性排序。参数包括 url（必填）、search_query（必填）。
  9. Get Batch Results（get_batch_results）：使用 batch_id 获取先前提交的批量抓取任务结果。返回 batch_id、status（processing 或 completed）、total_urls、completed_urls、items（每个 URL 的抓取结果数组，含 url、custom_id、markdown_content、html_content、json_content、text_content、status、page_metadata）。
  10. Get Crawl Results（get_crawl_results）：获取 create_crawl 启动的异步爬取的状态和已抓取页面，是 create_crawl 的必需配套工具。参数包括 crawl_id（必填）、formats（markdown、html、json、text，默认 ["markdown"]）、items_limit（1-100，默认 20）、cursor（默认 0）、search_query（可选过滤）。进行中返回 crawl_id、status（in_progress）、pages_completed、pages_total 及提示约 10 秒后再次调用；完成时返回 crawl_id、status（completed）、pages_returned、next_cursor、has_more 及 pages 数组。

错误处理

服务器提供健壮的错误处理：API 问题的详细错误消息、网络错误报告、认证失败处理、速率限制信息。

分发与平台

MCP 服务器以 Docker 镜像形式提供：Docker Hub（olostep/mcp-server）、官方 Docker MCP Registry（mcp/olostep，即将推出，带签名与 SBOM 增强安全）、GitHub Container Registry（ghcr.io/olostep/olostep-mcp-server）。该服务器正在加入 Docker Desktop 官方 MCP Toolkit，用户将能在 Docker Desktop 的 MCP Toolkit UI 中发现、一键安装、可视化配置，并与任何兼容 MCP 的客户端（Claude Desktop、Cursor 等）一起使用。状态：正在提交至 Docker MCP Registry。

适用场景与限制

适用于需要让 AI 智能体实时访问网页数据的场景，如内容提取、大规模数据采集、网站结构分析、带引用的问答等。限制方面：需要 Olostep API 密钥；批量抓取上限为 1 万条 URL；爬取为异步两步操作；部分功能（如 Docker MCP Registry 提交、Docker Desktop MCP Toolkit 集成）状态为进行中或即将推出。

同类工具

查看分类