用途:fetch4ai 用于抓取网页内容,依托 crawl4ai 产出干净、可直接供大模型使用的 Markdown,去除页面噪声。它既可作为独立 CLI 工具执行简单的命令行抓取,也可作为 web-research 工作流的抓取层。
前置条件:需先安装 crawl4ai,命令为 pip install -U crawl4ai,然后执行 crawl4ai-setup 完成 Playwright 首次设置。
基本用法:通过脚本调用,例如 python ~/.claude/skills/fetch4ai/scripts/fetch4ai.py --url "https://example.com/article" --format markdown;可用 --timeout 60 控制超时(默认 30 秒),用 -o content.md 保存到文件,用 --quiet 或 -q 抑制状态信息以便管道输出。也可添加 shell 别名简化调用。
过滤策略:pruning(默认)按文本密度、链接密度和标签重要性自动剔除低质量内容,可用 --threshold(默认 0.48)和 --min-words(默认 5)调节;bm25 基于查询相关性提取内容,需 --query,可用 --bm25-threshold(默认 1.2);tags 按标签排除并用词数过滤,需 --excluded-tags,可用 --word-count-threshold(默认 10);composite 先 pruning 再 BM25,用于高精度提取。
输出:脚本返回 JSON,包含 success、url、title、content、links、stats(raw_length、fit_length、reduction_percent)、strategy、metadata 等字段。可通过 --format json/markdown、--include-links、--include-images、--exclude-external-links 控制格式与链接图片。支持 --session-id 复用浏览器会话抓取多页。
适用场景:从网页提取正文、按主题做定向研究、抓取博客与新闻、处理文档页和研究论文、产品列表等。
限制:需先正确安装 crawl4ai 并完成 Playwright 设置;脚本会处理网络超时、无效 URL、JS 较重页面和过滤后空内容等错误,出错时返回 success 为 false 及 error_type(timeout、network、parsing、empty_content)。其他功能与细节以实际使用为准。