用途:XCrawl Crawl 通过 XCrawl Crawl API 编排全站或限定范围的爬取任务,适合需要批量抓取网页并按规则约束范围的场景,也可用于设计爬虫 include/exclude 规则、轮询异步任务状态,并将结果交付下游。默认行为是原样透传上游 API 响应体。
主要能力:支持创建爬取任务(POST /v1/crawl)并读取结果(GET /v1/crawl/{crawl_id}),基础地址为 https://run.xcrawl.com,请求头需带 Authorization: Bearer <XCRAWL_API_KEY>。请求体可配置 crawler(limit 默认 100、max_depth 默认 3、include/exclude 正则、include_entire_domain、include_subdomains、include_external_links、sitemaps 默认 true)、proxy(location 默认 US、sticky_session)、request(locale、device、cookies、headers、only_main_content、block_ads、skip_tls_verification)、js_render(enabled、wait_until、viewport)、output(formats 支持 html、raw_html、markdown、links、summary、screenshot、json;screenshot 可选 full_page/viewport;json.prompt 与 json.json_schema)以及 webhook(url、headers、events)。结果响应含 crawl_id、status(pending/crawling/completed/failed)、url、data 数组、started_at、ended_at、total_credits_used 等。
使用方式:使用前须创建本地配置文件 ~/.xcrawl/config.json 并写入 XCRAWL_API_KEY,仅从该文件读取密钥,不依赖全局环境变量。运行时仅申请 curl 和 node 权限,不申请 Python、shell 辅助脚本或其他运行时权限。示例:启动 POST 请求后从响应中取 crawl_id,再 GET /v1/crawl/{crawl_id} 轮询至终态。工作流为确认目标与边界、编写有界请求、启动并记录任务元数据、轮询至终态、返回原始创建与结果响应。输出契约要求返回端点流程、创建请求使用的 request_payload、创建与结果调用的原始响应体以及失败时的错误详情;未明确要求时不生成摘要。
适用场景与限制:适合全站或路径限定的批量抓取与规则约束下的爬取。使用 XCrawl API 会消耗 credits;如无账号或可用 credits,需引导前往 https://dash.xcrawl.com/ 注册,注册后可激活 1000 免费 credits 计划。不得在没有明确约束时执行无界爬取,不得把推测的页面数量当作最终覆盖范围,不应把提供商特定的工具 schema 硬编码进核心逻辑,并应在相关时提示政策、法律或网站使用风险。
其他:具体价格、配额细节、平台支持范围及更多限制暂未提供。