用途:查询 Crawlora 自有的预爬取、预索引数据集,通过搜索、分面和按 ID 获取来访问已按计划刷新的语料。区别于仓库中直连单平台实时端点的技能:本技能面向已采集记录的搜索索引,适合总体性问题(多少、Top N、符合某条件的全部),而非一次性查询。
主要能力:每个数据集在 /datasets/<dataset-id>/... 下结构一致。Discover 用 GET /datasets 列出所有数据集及其能力;Search 用 GET /datasets/<id>/search 做全文与过滤搜索,以 page/size 分页;Facet 用 GET /datasets/<id>/facets 一次返回可分面字段的聚合分布;Item 用 GET /datasets/<id>/items/{id} 按数据集键取单条记录;Nearby(airbnb-markets、github-users、google-map-businesses、jobs 支持)用 GET /datasets/<id>/nearby 按经纬度与 radius_km 找附近记录。覆盖 Airbnb 市场、应用商店应用/评论/榜单、GitHub/Instagram/X 用户、招聘信息与招聘公司、美国房产市场、Google 地图商家、Goodreads 作者/图书、Apple Podcasts 节目、Chrome 扩展、PitchBook 公司/基金/投资人、PlayStation 游戏、Product Hunt、Reddit 趋势、SEC 公司与机构持仓、Steam 游戏、TrustMRR 初创、记者、Numbeo 生活成本、网站技术栈等。
使用方式:一次性设置,在 https://crawlora.net 获取免费 Crawlora API 密钥(每月 2000 积分,无需信用卡),运行前在环境变量设置 CRAWLORA_API_KEY。助手从环境读取该变量并向 https://api.crawlora.net/api/v1 发请求,密钥缺失或无效返回 401。所有请求使用 scripts/crawlora.sh,以避免密钥出现在命令行参数中。示例:scripts/crawlora.sh /datasets | jq '.' 列出全部数据集;scripts/crawlora.sh /datasets/jobs/search q="staff engineer" location="remote" | jq '.';scripts/crawlora.sh /datasets/jobs/facets | jq '.';scripts/crawlora.sh /datasets/github-users/items/torvalds | jq '.';scripts/crawlora.sh /datasets/github-users/nearby lat=37.7749 lon=-122.4194 radius_m=50000 | jq '.'。完整端点、各数据集 id 与参数见 reference/endpoints.md。
限制:仅按成功(2xx)计费,免费额度每月 2000 积分;仅基于公开数据;密钥只存于 CRAWLORA_API_KEY,切勿硬编码、放入查询参数或提交;数据集按计划刷新(依来源为每日或每周),非实时,如需实时单条查询应改用对应平台专属技能;结果分页,需遍历页面以获得完整覆盖。