scrapling

用途：Scrapling 是 CLI 优先的网页抓取与内容提取工具，适合“拿到 URL → 用选择器提取 → 写出文件”的重复性工作，可在把内容交给 LLM 前只保留相关 DOM 区域以降低 token 消耗。主要能力：通过 CLI 抓取页面并把整页正文或指定 CSS 选择器内容输出为 .txt/.md/.html；支持普通 GET 抓取与浏览器模式 fetch；可批量处理 URL；可选以 MCP 服务器方式提供结构化抓取工具。使用方式：需 Python >= 3.10，可先用 python --version 和 scrapling --help 检查；推荐安装 python -m pip install "scrapling[ai]"（含 CLI+MCP+抓取器），仅需 CLI 抓取可用 python -m pip install "scrapling[fetchers]"；使用浏览器抓取器时可能需要浏览器二进制，可执行 scrapling install 或 python -m playwright install。常见命令：scrapling extract get "https://example.com" out.md；scrapling extract get "https://example.com" out.txt --css-selector "main article"；scrapling extract get "https://example.com" out.html --css-selector "#content"；scrapling extract fetch "https://example.com" out.md --css-selector "main"。启动 MCP 服务器：scrapling mcp（默认 stdio），或 scrapling mcp --http --host 127.0.0.1 --port 8765。适用场景：需要稳定、可重复地把已知 URL 的特定部分提取成文件的流程；也可作为本地 MCP 端点供智能体调用。限制与边界：若需登录、点击、多步导航、下载或复杂 JS 交互，应改用 playwright；发现来源/URL 应使用搜索工具。抓取属于外部依赖，应显式处理超时、重试与失败；面对较强反爬可考虑切换抓取器或使用 playwright。具体功能、收费、平台与效果资料未提供。