SuperAPI AI 工具集

web-reader

写作与研究

查看项目

更新于 10-15 22:12

技能介绍

用途:从任意公开网页提取干净的正文文本,去除广告与导航,返回结构化 Markdown,适合抓取文章、社交媒体帖子和新闻内容。

主要能力:双引擎支持,Defuddle 为主引擎(Obsidian CEO 出品,开源库 https://github.com/kepano/defuddle,在线服务 https://defuddle.md/<目标URL>,返回带 YAML frontmatter 的 Markdown),Jina AI 为回退引擎(通过 https://r.jina.ai/http://<目标URL> 接口抓取并转换为 Markdown);主引擎失败自动切换备用引擎;零 API key,即开即用;支持 Twitter/X、Reddit、NYT、WSJ、Medium、Substack、GitHub、ReadTheDocs 等站点及任意公开 URL。

使用方式:基础调用 const { fetchContent } = require('./skills/web-reader'); 然后 await fetchContent('https://example.com/article'),返回结果含 title、content、source('defuddle' 或 'jina')。可指定引擎偏好:webReader.fetchContent(url, { prefer: 'jina' });也可强制使用特定引擎:webReader.fetchFromDefuddle(url) 或 webReader.fetchFromJina(url)。支持批量获取:webReader.batchFetch(urls)。

适用场景:需要快速获取网页正文、绕过部分付费墙、抓取社交媒体帖子或文档内容时使用。

限制:免费服务,可能有速率限制;不适合需要 JavaScript 渲染的动态内容;私有或需要登录的内容可能无法访问;微信公众号文章通常无法访问(两种引擎都一样)。