SuperAPI AI 工具集

scraping

编程与开发

查看项目

更新于 10-15 17:31

技能介绍

用途:为网页内容抓取提供一套四级递进策略,按站点类型逐级升级抓取方式,并统一输出 Markdown。

主要能力与分级: 一级 WebFetch(默认):速度快、免费,适用于约 70% 的站点,仅抓静态 HTML,不做 JS 渲染,例如 WebFetch URL prompt="Extract main article text"。 二级 searxng(搜索驱动):当知道大致目标但不确定具体 URL 时使用,先搜索再抓取最佳命中,例如 mcp__searxng__searxng_web_search query 与 mcp__searxng__web_url_read url。 三级 BrightData scrape_as_markdown:用于 Cloudflare、反爬、JS 渲染及拦截普通爬虫的站点,例如 mcp__brightdata__scrape_as_markdown URL,链接发现用 mcp__brightdata__discover URL。 四级 Playwright(交互式):用于需登录、多步骤(先点击再提取)、重型 SPA,例如 mcp__playwright__browser_navigate URL、mcp__playwright__browser_snapshot、mcp__playwright__browser_evaluate "..."。

选择规则:普通博客、维基、无付费墙新闻文章用一级;未知 URL 但已知主题用二级;受 Cloudflare 保护、Reddit、X(若公开)、对爬虫返回 403 的站点用三级;需登录、需点击、重型 SPA 用四级。

域名默认:政府站点用一级;有反爬防御的官媒用三级;Telegram 频道用四级(Playwright 或 Telegram API);LinkedIn 公开资料优先 LinkedIn MCP 再四级;Bluesky 用 Bluesky MCP 而非抓取;学术论文(arXiv、PubMed)优先 arxiv MCP 再一级;付费媒体用一级(开放导语),若通过 gift link 绕过则三级。

输出格式:始终为 Markdown,保留源语言,顶部附元数据块,含 url、fetched、tier、title 字段。

归档:对相关内容可提议通过 archive-to-vault 技能保存到用户仓库(通常路由到 sources MOC 或未分类收件箱)。

限制:以上为技能说明,具体工具可用性与配置、收费信息暂未提供。