SuperAPI AI 工具集

conference-speaker-scraper

编程与开发

查看项目

更新于 10-16 08:48

技能介绍

这是一个从会议网站讲者页提取讲者信息的工具,主要提取讲者姓名、职位、公司和简介。

用途:抓取会议 /speakers 页面中的讲者列表,适合需要整理会议嘉宾数据、做名录或分析的场景。

主要能力:

  • 直接模式(默认):抓取页面 HTML 并依次尝试多种提取策略,取返回结果最多的一种:
  1. CSS 类名提示:查找类名含 speaker、presenter、faculty、panelist、team-member 的讲者卡片;
  2. 标题加段落模式:查找重复出现的 h2/h3 加 p 结构;
  3. JSON-LD 结构化数据:检查 application/ld+json 脚本中的讲者数据;
  4. 平台嵌入:识别 Sched.com 或 Sessionize 模式。
  • Apify 模式:使用 apify/cheerio-scraper actor 抓取,适合 JS 重的页面,采用标准 POST/轮询/GET 数据集模式。

输出字段包括 name、title、company、bio、linkedin_url、image_url、conference、source_url。输出格式支持 json(默认)、csv 和 summary。

使用方式:仅依赖 requests。直接抓取无需 API key。基础命令示例: python3 skills/conference-speaker-scraper/scripts/scrape_speakers.py --url "https://example.com/speakers" 使用 Apify 模式: python3 skills/conference-speaker-scraper/scripts/scrape_speakers.py --url "https://example.com/speakers" --mode apify 可指定会议名:--conference "Sage Future 2026"(不提供时从 URL 推断)。输出格式通过 --output json|csv|summary 选择。Apify 模式需 --token(也可用环境变量),--timeout 默认 300 秒。

适用场景:适用于结构相对标准的会议讲者页,多策略可提升覆盖率。

限制:HTML 抓取对会议站点结构较为敏感,JS 重的页面需改用 Apify 模式;直接抓取返回 0 结果时可尝试 --mode apify。费用方面,直接模式免费,Apify 模式消耗少量 Apify 积分。其他细节暂未提供。