SuperAPI AI 工具集

xcrawl-map

通用与其它

查看项目

更新于 10-15 22:33

技能介绍

用途:该技能调用 XCrawl Map API,用于发现某个站点的 URL,适合全站爬取前的站点 URL 发现、正则过滤、范围估算和爬取规划。默认行为是原样透传,直接返回上游 API 响应体。

主要能力:调用 POST /v1/map 接口提交映射任务。请求体包含 url(必填,站点入口 URL)、filter(可选,URL 正则过滤)、limit(可选,默认 5000,最大 100000)、include_subdomains(可选,默认 true,是否含子域名)、ignore_query_parameters(可选,默认 true,是否忽略带查询参数的 URL)。响应包含 map_id、endpoint、version、status、url、data(links、total_links、credits_used、credits_detail)、started_at、ended_at、total_credits_used。

使用方式:使用前需创建本地配置文件 ~/.xcrawl/config.json,写入 {"XCRAWL_API_KEY": "<your_api_key>"},仅从该本地文件读取 API Key,不依赖全局环境变量。请求头需带 Authorization: Bearer <XCRAWL_API_KEY>,基础地址为 https://run.xcrawl.com。工具权限方面仅请求 curl 和 node 的运行时权限。

输出约定:返回使用的 endpoint(POST /v1/map)、request_payload、原始响应体;失败时返回错误详情。除非用户明确要求,否则不生成摘要。

限制:若达到 limit 上限,不得声称已覆盖全站;不得将推断的 URL 与返回的 URL 混淆;不得在核心逻辑中硬编码特定提供方的工具 schema。使用 XCrawl API 会消耗积分,若无账号或积分,需前往 https://dash.xcrawl.com/ 注册,注册后可激活 1000 免费积分套餐。具体价格与其他限制暂未提供。