用途:这是一组面向 Claude 的抓取专家技能,顶层只做路由,按任务语义把用户需求分发到最相关的子技能。适用于 scrape、crawl、extract、批量采集网页、浏览器自动化等任务。
主要能力(子技能索引):crawl4ai-pipeline-builder(Crawl4AI 多 URL 抓取、Markdown 生成、结构化抽取、CLI 批量 crawl、会话复用、无 LLM 的 schema 提取);firecrawl-web-extraction(Firecrawl 网页搜索、单页抓取、结构化提取、截图、URL 映射、整站 crawl、JS 渲染页面);scrapling-web-scraper(按站点特征自动选择抓取方式、应对 Cloudflare/WAF、登录态、解析已有 HTML、生成 Python 脚本);web-scraping-playbook(站点侦察、发现 sitemap 或 API、选择抓取路径、处理 403/Cloudflare/限流、生产化抓取方案);structured-web-data-extractor(把目录、联系人、商家列表等分页或滚动加载数据提取为 CSV/JSON,优先使用 Playwright MCP);google-serp-ad-intelligence(Google 搜索广告与 PPC 竞品情报,脚本 scripts/scrape-ads-playwright.cjs);facebook-ad-library-scraper(Facebook 广告库素材、图片视频、转写内容采集);x-topic-intelligence(X/Twitter 话题热门帖子与社媒情报);trustpilot-review-intelligence(Trustpilot 评论、评分分布、正负面主题,脚本 scripts/tpscraper.js);taiwan-job-platform-scraper(抓取 104、CakeResume、Yourator 等台湾求职平台职位)。索引中还包含 IDA Pro 相关子技能(分析二进制、Python 脚本与插件开发)。
使用方式:先按触发语义匹配子技能,打开其入口文件指向的 SKILL.md 作为下一层入口;再按该子技能说明按需加载同目录 references/、scripts/、assets/。入口文件路径相对项目根目录,例如 .claude/skills/scraping-specialist/references/domains/firecrawl/SKILL.md。多个子技能相关时,先加载最贴近主目标的,再按需补充。遇到陌生站点先进入通用抓取子技能做侦察。
限制:索引由 node scripts/update-skill-index.js 自动生成;顶层不展开具体脚本与战术说明。资料未提供收费、价格、平台支持范围与效果保证等信息。