SuperAPI AI 工具集

trafilatura

写作与研究

查看项目

更新于 10-16 02:31

技能介绍

用途:这是一个 trafilatura 命令行技能,核心目标是从网页或 HTML 中抽取干净的文章正文与元数据,并遵循 stdout 优先协议,先满足单页需求再做批量写入。

主要能力:单页提取(extract,优先用 scripts/extract_url.py 包裹 trafilatura -u,仅 stdout/JSON 输出);元数据输出(--with-metadata --format json);管道输入(stdin 或本地 .html,如 trafilatura --markdown < page.html);发现模式(feed、sitemap、crawl、probe,默认只 --list 列出 URL);经批准的批处理(-i 链接列表 -o 输出目录,建议加 --backup-dir 备份 HTML);本地目录重处理(--input-dir,可用 --keep-dirs);归档回退(--archived 使用 Internet Archive)。

使用方式:会话内首次提取或 CLI 报错后先运行 uv run python scripts/doctor.py --format json 预检,失败则停止。单网址优先运行 uv run python scripts/extract_url.py --url 'https://…' --format json,需要可读结果时用 --output-format markdown。发现用法如 uv run python scripts/list_urls.py --mode sitemap --url 'https://…' --format json,展示 URL 数量与样本,未经明确批准不得自动批量下载。批处理示例:mkdir -p "$HOME/Downloads/trafilatura/output" 然后 trafilatura -i list.txt -o "$HOME/Downloads/trafilatura/output/" --markdown --backup-dir "$HOME/Downloads/trafilatura/html-backup/"。无 shell 环境可走 MCPHub trafilatura 的 fetch_and_extract 回退。

适用场景与限制:适合单页正文提取、元数据获取、本地 HTML 重处理与小规模 URL 发现。批量或本地目录处理需显式批准范围、输出目录并遵守礼貌与伦理(robots、限速)。不适用于多源研究、PDF/表格(docling)、原始抓取、视频音频站点(yt-dlp)或绕过付费墙。内容缺失时可用 --recall 或 --precision 调整,下载受阻可 wget/curl 管道传入,仍为空则说明是 JS 渲染页面限制,本工具无内置浏览器自动化。具体收费与平台信息暂未提供。