SuperAPI AI 工具集

job-scraper

数据与分析

查看项目

更新于 10-15 12:38

技能介绍

用途

Job Scraper 用于在 LinkedIn 和 Indeed 上搜索职位发布。它适合查找开放职位、监测招聘信号、识别正在招聘特定岗位的公司,以及进行 GTM 研究和竞争情报分析。

主要能力

  • 通过 Apify 调用两个职位平台的数据采集器:
    • LinkedIn:automation-lab/linkedin-jobs-scraper,适合 B2B、科技、SaaS、企业职位,包含资历级别、职能、行业等字段,约 $0.002/职位。
    • Indeed:borderline/indeed-scraper,覆盖最广,数据最丰富,包含薪资、公司详情、评分、联系方式、街道地址等,约 $0.004/职位。
  • 支持按关键词、地点、公司、发布时间、职位类型、远程筛选和结果数量进行搜索。
  • 自动选择数据源:用户指定则只用指定源;B2B/科技/SaaS、企业公司、资历筛选优先 LinkedIn;时薪/蓝领、本地/零售、薪资导向搜索优先 Indeed;公司招聘研究优先 LinkedIn;无明确信号时同时搜索两个来源并按职位名称与公司名去重。
  • 结果过滤与去重:按发布时间过滤,默认移除超过 30 天的职位;同时搜索时按公司名和职位名称去重,保留数据更丰富的结果。
  • 结果以摘要表格呈现,并可导出为 CSV。

使用方式

前置条件:需要 Apify API Token,在 .env 中设置:

APIFY_API_TOKEN=your_token_here

无需 LinkedIn Cookie、Indeed 登录或任何平台凭证。

工作流程:

  1. 理解请求:提取搜索词(必填)、地点、公司、发布时间、职位类型、远程、结果数量(默认 25)。
  2. 搜索:
    • LinkedIn 调用示例: curl -X POST "https://api.apify.com/v2/acts/automation-lab~linkedin-jobs-scraper/runs?token=$APIFY_API_TOKEN"
      -H "Content-Type: application/json"
      -d '{ "searchQuery": "AI engineer", "location": "San Francisco", "maxItems": 25 }'
    • Indeed 调用示例: curl -X POST "https://api.apify.com/v2/acts/borderline~indeed-scraper/runs?token=$APIFY_API_TOKEN"
      -H "Content-Type: application/json"
      -d '{ "query": "AI engineer", "location": "San Francisco, CA", "country": "us", "maxResults": 25 }'
    • 轮询结果:每 10 秒检查运行状态,状态为 SUCCEEDED 后获取数据集条目。
  3. 过滤与去重:按发布时间过滤,默认移除超过 30 天的职位;同时搜索时按公司名和职位名称去重。
  4. 呈现结果:以表格展示,包含序号、职位、公司、地点、薪资、发布时间、来源;并说明过滤和去重数量以及总成本。
  5. 导出(可选):保存为 {search-term}-jobs-{YYYY-MM-DD}.csv,列包括 title, company, location, salary, employment_type, seniority_level, posted_date, job_url, apply_url, description, source。

适用场景

  • 招聘信号检测:查找正在招聘 AI 工程师的公司,按公司分组并按开放职位数量排序。
  • 竞争情报:查看某公司正在招聘的职位,了解团队增长和战略重点。
  • 薪资研究:使用 Indeed 获取更丰富的薪资数据,按地点聚合薪资范围。
  • GTM prospecting:查找正在招聘销售副总裁的公司,导出公司列表用于外联。

限制

  • 需要 Apify API Token,未设置时需用户添加到 .env。
  • Indeed 的 country 字段为必填,需使用小写两字母国家代码,默认 us。
  • LinkedIn 可能返回 0 结果,需放宽搜索词或移除地点过滤。
  • Indeed 的 maxResults 可能无法限制结果数量,需客户端过滤。
  • Apify 运行可能失败或超时,可重试一次,仍失败则尝试另一来源。
  • 默认移除超过 30 天的职位以避免过期数据。
  • 成本估算:25 个职位 LinkedIn 约 $0.05、Indeed 约 $0.10、两者约 $0.15;50 个职位分别约 $0.10、$0.20、$0.30;100 个职位分别约 $0.20、$0.40、$0.60。