web-scraping-python
这是一个基于 Ryan Mitchell 所著《Web Scraping with Python》18 章内容构建的 Python 网页抓取技能，来源为 zlstas/skills。它把书中的实践整理成两种工作模式：Scraper Building（构建爬虫）与 Scraper Review（审查爬虫），帮助开发者设计、实现、审查和改进网页抓取程序。构建模式按“理解需求 → 应用对应章节实践 → 遵循抓取原则 → 生成代码”的流程推进，覆盖静态页面抓取、HTML 解析、站内与跨站爬取、Scrapy 框架、数据存储、非 HTML 文档、数据清洗、登录保护页面、JavaScript 渲染页面、API、图像与 OCR、反检测、测试、并行抓取、代理与匿名抓取以及法律伦理等主题。审查模式按抓取、解析、爬取、存储、韧性、伦理、质量等维度逐项检查，并给出问题、位置、修复建议与代码片段。该技能强调尊重 robots.txt、标识自身、限速、优雅处理错误、防御式解析、先存原始数据、校验提取数据、可重跑设计以及合法合规等原则，同时列出常见反模式，如无错误处理、硬编码选择器、缺少限速与 User-Agent、忽略 robots.txt、用正则解析 HTML 等。