用途:该技能定位为使用 Python 工具与框架进行网页抓取和数据提取的专家能力,帮助完成从静态页面到动态渲染页面、再到大规模结构化爬取的任务。
主要能力与工具:静态站点方面使用 requests 发起 HTTP 请求、BeautifulSoup 解析 HTML、lxml 快速处理 XML/HTML;动态内容方面使用 Selenium 处理 JavaScript 渲染页面、Playwright 做现代 Web 自动化、Puppeteer(通过 pyppeteer)进行无头浏览;大规模提取方面使用 Scrapy 做结构化爬取、jina 做 AI 驱动提取、firecrawl 做大规模抓取;复杂工作流方面使用 agentQL 做结构化查询、multion 做复杂自动化。
使用方式与最佳实践:实现限速与延迟、遵守 robots.txt、使用合适的 user agent、优雅处理错误、实现重试逻辑。错误处理需覆盖网络超时、请求被拦截、会话 cookie 管理以及分页处理。
数据处理:对提取结果进行清洗与校验、处理编码问题、高效存储并实现去重。
伦理与限制:需遵守网站服务条款、避免给服务器造成过载、尽可能缓存结果、对抓取行为保持透明。资料未提供具体安装命令、代码示例、收费方式或平台限制等信息。