SuperAPI AI 工具集

scrape

办公与效率

查看项目

更新于 10-22 16:15

技能介绍

用途

该技能用于自动化查找新的职位发布。它读取个人档案中的检索策略(search-queries.md),通过 .agents/skills/ 下已安装的各招聘门户 CLI 技能执行搜索,在缺少 CLI 时回退到 WebSearch,并对结果去重、抓取详情、做快速匹配度评估和存档。用户可用“Find new jobs”“Scrape for jobs”“Any new positions?”或 /scrape 触发。

主要能力

  • 按优先级执行查询类别:默认运行前三类,支持指定聚焦领域(如“/scrape data science”)或“broad”运行全部分类。
  • 多门户并行搜索:读取各门户 SKILL.md 获取正确调用方式与参数,不猜测标志;遵守 enabled: false 的禁用开关。
  • 时间范围控制:按门户支持的近期过滤参数限定最近 14 天;无该参数的门户(如 jobdanmark)则在客户端按日期过滤,不使用未文档化的标志。
  • 每次调用限制约 20 条,使用 --format json 获取机器可读输出。
  • WebSearch 后备:用于无对应 CLI 的门户、CLI 运行失败的门户或 bun 不可用时。
  • 去重:依据 URL、公司+职位、应用追踪表(job_search_tracker.csv)及本次运行内重复项跳过已见职位;通过 tools/scrape_state.py 的 candidates 与 store 命令处理,不在对话中加载完整状态文件。
  • 关闭检测:linkedin-search 详情返回 isActive: false 时标记为 expired 并写入状态,但不展示。
  • 批量发布检测:同一公司或相同 req/job ID、描述基本相同而仅城市/地点/职位不同的多条结果合并为一行并注明分布。
  • 快速匹配度评估:分为高、中、低三档;若职位要求的语言在档案 Languages 表中完全未声明,则直接判为 Low 并在亮点中标明;要求高于已声明等级时正常评分但添加红旗提示。
  • 内推联系链接:为高、中匹配度职位生成 LinkedIn 招聘人员搜索链接和角色/团队人员搜索链接,属于链接生成而非自动查询,无第三方 API 或凭据依赖。
  • 门户健康检查:/scrape health 仅运行健康检查(步骤 4.75),不搜索、不去重、不展示职位;可附加门户名仅探测单个门户。

使用方式

触发方式包括自然语言指令与 /scrape 命令,可带聚焦领域、“broad”或“health”参数。执行流程为:加载搜索策略;检查 bun 可用性(bun --version);并行运行各门户 CLI 或回退 WebSearch;将候选命中写入临时 JSON 并运行 python3 tools/scrape_state.py candidates 筛选;对选中结果抓取详情;做批量发布检测与快速匹配度评估;最后通过 python3 tools/scrape_state.py store 以原子方式写入 job_scraper/seen_jobs.json,并只展示新增职位。职位键由 tools/job_key.py 的 make_key 生成,确保跨运行稳定去重。Windows 上需使用 python 而非 python3。

适用场景

适合需要跨多个招聘门户持续发现新职位、避免重复查看、并希望快速判断匹配度与获取内推线索的求职者。状态文件与追踪表使抓取窗口和来源可审计。

限制

依赖已安装的门户 CLI 技能与 bun;未安装时仅能使用 WebSearch 后备。日期范围、详情字段和过滤能力取决于各门户文档化的接口,不得自行编造标志。isActive: true 仅表示未显示停止接收申请横幅,不证明职位仍开放。deadline、posted_date 等缺失字段不会推断或回填。该技能只能生成 LinkedIn 搜索链接,不执行自动查询或抓取。