SuperAPI AI 工具集

article-extractor

写作与研究

查看项目

更新于 10-15 21:46

技能介绍

用途:从网页 URL 提取正文并保存为纯文本文件,去除广告、导航、侧栏等干扰,便于研究、归档或离线阅读。

主要能力:保留正文段落、章节标题、作者信息、发布日期和文章结构;移除导航栏、广告、邮件订阅表单、侧栏、评论区、社交分享按钮、Cookie 提示和相关文章组件。支持基础提取、指定保存位置、批量提取多篇、仅提取元数据、输出 Markdown、提取并总结要点。

使用方式:以自然语言指令调用,例如“Extract the article from https://example.com/article”“Extract this article and save to ~/reading/ https://example.com/interesting-post”,或列出多个 URL 批量提取。提取按优先级选用工具:首选 Mozilla Readability(Firefox 阅读器算法),其次 Trafilatura(Python,支持 --no-comments、--precision),最后使用 curl 加基础解析的降级方案。文件按清理后的文章标题命名,去除 / : ? " < > | 等特殊字符,长度限 80-100 字符,扩展名 .txt,输出含标题、作者、日期、来源 URL 及正文。

适用场景:下载文章文本、保存博客、清理网页干扰、内容归档、研究提取、建立本地阅读库、批量处理相关文章。

限制:付费墙内容仅能提取可用的预览部分;无效 URL 会给出错误提示,提取失败时建议手动复制;缺少依赖时回退到较不可靠的基础解析。最佳效果需安装依赖:npm install -g @nicolo-ribaudo/readability-cli 或 pip install trafilatura。建议检查输出质量、保留原始 URL、整理文件夹结构,并仅用于个人研究。部分细节暂未提供。