SuperAPI AI 工具集

content-harvest

数据与分析

查看项目

更新于 10-16 04:54

技能介绍

用途:从网页文章、博客中提取正文与元数据,去除导航、广告、邮件订阅、评论等杂乱内容,保存为干净可读的文本文件。

主要能力:按优先级自动选用工具——reader(Mozilla Readability,推荐)、trafilatura(Python,适合博客与新闻)、以及 curl + 简单解析的降级方案;提取正文、标题、作者等信息,保留标题与段落结构;按文章标题生成文件名,做文件系统字符清理,保存后显示预览。

使用方式:先检测工具是否存在(command -v reader 或 command -v trafilatura);未安装时可 npm install -g @mozilla/readability-cli、npm install -g reader-cli 或 pip3 install trafilatura。提取示例:reader "URL" > article.txt;trafilatura --URL "URL" --output-format txt --no-comments > article.txt。标题可用 reader 输出的首行或 trafilatura --json 的 title 字段获取。流程为下载提取、清理内容、按标题命名保存、确认位置并预览。

适用场景:用户给出文章或博客 URL 并想要文字内容;需要“下载这篇文章”“提取该 URL 的内容”或“把博文保存为文本”;需要无干扰的干净正文。

限制:付费墙或需登录的文章可能提取失败;无效 URL 或重 JavaScript 站点可能无内容;降级方法精度较低、可能含噪声。标题中特殊字符需清理,文件名建议不超过 100 字符。工具缺失、提取失败等情况应提示用户并尝试替代工具,始终先预览并确认结果。