SuperAPI AI 工具集

xcrawl-scrape

通用与其它

查看项目

更新于 10-15 22:32

技能介绍

用途:处理 XCrawl Scrape 的单页提取任务,包括单 URL 抓取、输出格式选择、同步或异步执行,以及通过 prompt 或 json_schema 做 JSON 结构化提取。默认行为为原样透传上游 API 响应体。

配置:使用前需创建本地配置文件 ~/.xcrawl/config.json,写入 XCRAWL_API_KEY。API key 仅从该本地文件读取,不要求全局环境变量。使用 API 会消耗积分;无账号或积分时需先在 https://dash.xcrawl.com/ 注册,注册后可激活免费 1000 积分方案。

权限:运行时仅申请 curl 与 node 权限,不申请 Python、shell 辅助脚本或其他运行时权限。

接口:起始抓取为 POST /v1/scrape,读取异步结果为 GET /v1/scrape/{scrape_id},基址 https://run.xcrawl.com,必需请求头 Authorization: Bearer <XCRAWL_API_KEY>。请求体顶层字段含 url(必填)、mode(默认 sync)、proxy、request、js_render、output、webhook。output.formats 可选 html、raw_html、markdown、links、summary、screenshot、json,默认 ["markdown"]。json.prompt 与 json.json_schema 用于 JSON 提取。异步模式可配置 webhook,支持 started、completed、failed 事件。

同步响应含 scrape_id、status、url、data、起止时间、total_credits_used 及 credits_detail 等;异步创建响应 status 为 pending,结果需轮询直至 completed 或 failed。

用法示例(保持原样): API_KEY="$(node -e "const fs=require('fs');const p=process.env.HOME+'/.xcrawl/config.json';const k=JSON.parse(fs.readFileSync(p,'utf8')).XCRAWL_API_KEY||'';process.stdout.write(k)")" curl -sS -X POST "https://run.xcrawl.com/v1/scrape" -H "Content-Type: application/json" -H "Authorization: Bearer ${API_KEY}" -d '{"url":"https://example.com","mode":"sync","output":{"formats":["markdown","links"]}}'

适用场景:需要对单个页面抓取正文、链接、截图或结构化数据时使用。限制:资料未提供更多平台、价格或效果信息;页面结构不稳定时应说明不确定性;不要虚构不支持的输出字段。