SuperAPI AI 工具集

web-utilities-research

写作与研究

查看项目

更新于 10-16 05:04

技能介绍

用途:面向不属于单一平台的通用网络情报查询,包括网页抓取与结构化抽取、技术栈指纹、地理编码、生活成本对比、进出口贸易记录、站点流量和品牌识别,统一返回规范化 JSON。

主要能力:POST /web/scrape 将 URL 转为 markdown/HTML/链接/元数据;POST /extract 按你提供的 schema 返回 JSON;POST /web/techstack 指纹识别站点技术。地理编码含 /geocoding/search(正向)、/geocoding/reverse(反向)、/geocoding/lookup(按 OSM id)。Numbeo 提供 /numbeo/cost-of-living/city/{slug}(或 country)、/numbeo/cost-of-living/rankings 与 /numbeo/indices/*。ImportYeti 用 /importyeti/search 找公司、/importyeti/company 查美国海关进出口记录摘要。SimilarWeb 用 /similarweb/web/{domain} 查流量、/similarweb/search 解析域名。品牌用 /brand/retrieve (domain) 解析名称、logo、配色。

使用方式:先在 https://crawlora.net 获取免费 Crawlora API key(2,000 积分/月,无需信用卡),在环境中设置 CRAWLORA_API_KEY,助手会向 https://api.crawlora.net/api/v1 发请求,缺失或无效密钥返回 401。统一用 scripts/crawlora.sh 发请求以让密钥不出现在命令行参数中。示例:scripts/crawlora.sh -X POST /web/scrape '{"url":"https://example.com","formats":["markdown"]}' | jq '.';scripts/crawlora.sh /geocoding/search q="1600 Amphitheatre Parkway, Mountain View, CA" | jq '.'。注意 /web/scrape、/extract、/web/techstack 的请求体使用扁平顶层字段,不要把 scrapeOption/extractOption/request 当作包装键。

适用场景:一次完成竞品站点内容、技术栈与流量的站点调研;对比两座城市租金、食品、交通等生活成本;先搜索品牌再查其货运历史与已知供应商。

限制:仅公开且 robots 允许的页面会被抓取,需遵守各站点使用条款。按成功计费,仅 2xx 计费。密钥只放在 CRAWLORA_API_KEY,切勿硬编码、作为查询参数或提交。ImportYeti 与 SimilarWeb 数据按各自刷新周期更新,非实时。较少使用的字段(render、only_main_content、完整 JSON Schema)未在工具 schema 中列出,使用前请在 crawlora.net/docs 或 playground 确认。