用途:面向数据工程场景,负责抓取、清洗并理解网页内容。核心思路是多策略级联:始终先用最轻量方法,仅在内容不足时才升级手段,并且仅对清洗后的纯文本使用 LLM 做实体抽取与内容理解。
主要能力(5 阶段流水线):1)新闻/文章检测:通过 URL 模式、Schema.org 类型(NewsArticle、Article、BlogPosting 等)、og:type 与内容启发式打分,分数 >=0.4 才继续。2)多策略内容提取:默认 requests + BeautifulSoup(30 秒超时);需要 JS 渲染时用 Playwright 无头 Chromium,可屏蔽图片、字体与追踪器;同域批量抓取可用 Scrapy(并发 5、下载延迟 0.5、遵守 robots.txt)。3)清洗规范化:用 trafilatura 去导航、页脚、广告等样板内容,进行 NFKC 编码规范化、空白折叠,长文按约 4000 字符带重叠分块。4)结构化元数据:抽取作者、发布日期、栏目、标签关键词,并检测付费墙类型。5)实体抽取(可选):对干净文本用 LLM 提取人物、组织、地点、日期事件及其关系。输出为带回质量元数据的 JSON。
使用方式:先执行强制规划协议,确认抓取目标、提取内容、单页或批量、输出格式;检查已安装的 Python 包、Playwright 浏览器、磁盘空间以及 OPENROUTER_API_KEY 是否设置(仅第 5 阶段需要);分析目标 URL 是否需 JS 渲染、有无付费墙与 Schema 标记;按决策树选策略并顺序执行各阶段,最后汇总处理页数、成功失败数与数据质量。
限制:技能本身不直接发起 API 调用,只生成 Python 脚本、YAML 配置和 JSON 输出,且绝不读取或修改 .env 等凭据文件。第 5 阶段依赖环境变量 OPENROUTER_API_KEY,且仅用于生成的脚本。其他阶段无需凭据。反爬、限流、付费墙与编码问题需自行评估并制定缓解措施。资料未提供具体价格、收费方式与可支持平台范围。