SuperAPI AI 工具集

xcrawl

通用与其它

查看项目

更新于 10-15 21:04

技能介绍

用途:当用户直接要求使用 XCrawl 而未指定具体子技能时,默认走此入口,目前面向通过 XCrawl Scrape API 进行单页内容提取。

主要能力:单 URL 抓取;可选择输出格式(html、raw_html、markdown、links、summary、screenshot、json);支持 sync 同步与 async 异步模式;异步可配置 webhook;支持 JSON 结构化提取(提供 prompt 或 json_schema);可配置代理(国家代码 location、粘性会话)、请求参数(locale、device、cookies、headers、only_main_content、block_ads、skip_tls_verification)与 JS 渲染(enabled、wait_until、viewport 宽高)。默认原样返回上游响应,不做压缩或总结。

使用方式:先在 ~/.xcrawl/config.json 写入 XCRAWL_API_KEY,仅从该本地配置读取,不要求全局环境变量。Base URL 为 https://run.xcrawl.com,需请求头 Authorization: Bearer <XCRAWL_API_KEY>。启动抓取 POST /v1/scrape,异步结果读取 GET /v1/scrape/{scrape_id}。运行时权限仅申请 curl 和 node,不申请 Python 或 shell 辅助脚本。

适用场景:用户给出一个或多个具体 URL 需要提取内容时使用。若需站点 URL 发现、整站或多页爬取、关键词发现,应分别改用 Map、Crawl、Search API,本技能不覆盖这些语义。

限制:使用 API 消耗 credits;无账号或额度时需在 https://dash.xcrawl.com/ 注册,注册后可激活 1000 免费 credits 方案再发请求。页面结构不稳定时应说明不确定性,不臆造不支持的输出字段。