用途:当需要公开网站上的实时数据时使用 Crawlora,例如查询 Amazon、eBay、Shopify 的商品价格,获取 YouTube 视频字幕或评论,抓取 Google、Bing 搜索结果或 Google Trends 趋势,查询 iOS/Android 应用评论评分,读取 Yahoo Finance 行情或 CoinGecko 涨幅榜,获取 TikTok、Instagram、Reddit 帖子以及 Trustpilot 评论等。所有需要自行爬 HTML 或维护爬虫的任务都可改用它。
主要能力:返回规范化 JSON,无需运行浏览器、代理或 HTML 解析器。公开数据目录含 3,475 个工具、466 个平台组,仓库提供 165 个可安装研究技能。账户用量、近期 IP、网站监控管理、通用 URL 抓取、APK 分析、批量画像数据集等端点被有意排除,由专用技能覆盖。
使用方式:在 https://crawlora.net 获取免费 API Key(每月 2,000 credits,无需信用卡)。执行 export CRAWLORA_API_KEY 设置密钥。所有请求发往 https://api.crawlora.net/api/v1,请求头携带 CRAWLORA_API_KEY,缺失或无效返回 401。先用 reference/catalog.md 按平台查找端点的方法、路径与参数,再用 scripts/crawlora.sh 调用并输出 JSON,用 jq 解析。GET 参数放查询字符串,POST 端点用 -X POST 传 JSON body,路径参数如 {id} 替换进 URL。示例:scripts/crawlora.sh /amazon/search k=laptop | jq '.';scripts/crawlora.sh -X POST /google/search '{"keyword":"web scraping api","language":"en","country":"us"}' | jq '.'。
限制:仅限公开数据,不涉及第三方账户凭据,需遵守各来源条款与速率限制。计费按成功响应(2xx)计,失败不计费;免费层每月 2,000 credits。部分搜索端点在上游返回验证页时返回 503,需重试或改用其他搜索提供商(Google、Bing、Brave)。密钥只能放 CRAWLORA_API_KEY,不可硬编码、放入 URL 查询参数或提交到仓库。若已安装更具体的 Crawlora 技能(如 product-price-research、youtube-research、app-review-mining、serp-keyword-research),应优先使用。