SuperAPI AI 工具集

fetch-url

通用与其它

查看项目

更新于 10-16 05:05

技能介绍

用途:抓取并提取网页正文,默认输出 Markdown,内置 X/Twitter URL 处理以提升受限页面抓取成功率。

工具选择:GitHub repo、issue、PR、comment、release、workflow 等资源 URL 优先使用 github-cli;若 gh 或 GitHub API 能取得所需内容,不要同时调用 fetch-url。仅当 github-cli 无法取得所需页面内容,或目标并非其支持的 GitHub 资源时,才用本 skill 回退。URL 仅支持 http / https。

主要能力与参数:默认自动探测本地 Chromium 系浏览器路径;未探测到时需安装 Playwright 浏览器:uv run playwright install chromium。--output 将输出写入文件(默认 stdout);--timeout-ms 设置 Playwright 导航超时(毫秒,默认 60000);--browser-path 指定本地 Chromium 系浏览器路径(默认自动探测);--output-format 输出格式(默认 markdown),支持 csv、html、json、markdown、raw-html、txt、xml、xmltei,raw-html 直接输出渲染后的 HTML(不经 trafilatura);--fetch-strategy 仅 markdown 可用,支持 auto、agent、jina、browser,默认 auto。

抓取策略:auto 为默认选择;agent 优先用原站 Markdown 协商;jina 优先用 Jina Reader;browser 直接用本地 Playwright。

环境变量:可设置 JINA_API_KEY 提升 Jina Reader 限流:JINA_API_KEY=your-token ./scripts/fetch_url.py ...

示例:./scripts/fetch_url.py https://example.com --output ./page.md --timeout-ms 60000;./scripts/fetch_url.py https://example.com --fetch-strategy jina;JINA_API_KEY=your-token ./scripts/fetch_url.py https://example.com --fetch-strategy jina;./scripts/fetch_url.py https://example.com --fetch-strategy browser;./scripts/fetch_url.py https://x.com/jack/status/20 --output-format markdown;./scripts/fetch_url.py https://x.com/jack/status/20 --output-format markdown --fetch-strategy browser。

限制:URL 仅支持 http / https;GitHub 相关资源应优先用 github-cli,避免重复调用;未探测到本地浏览器时需安装 Playwright 浏览器。其余收费、平台与效果信息暂未提供。