用途：该技能面向网站数据爬取与 API 自动化调用场景，用于抓取网页内容、调用并测试 REST/GraphQL 接口、解析与清洗数据、创建自动化爬虫脚本、处理反爬虫机制，以及配置定时任务与数据存储。
主要能力：分析和爬取网站结构；调用和测试 REST/GraphQL API；创建自动化爬虫脚本；数据解析和清洗；处理反爬虫机制；定时任务和数据存储。提及的技术栈包括 Python 侧的 requests、BeautifulSoup4、Scrapy、Selenium、Playwright，以及 JavaScript 侧的 axios、cheerio、puppeteer、node-fetch。
工作流程：目标分析（检查网站结构与数据位置、分析 API 接口和认证方式、评估反爬虫机制）；方案设计（选择技术栈、设计数据提取策略、规划错误处理和重试机制）；脚本开发（编写爬虫代码、实现数据解析逻辑、添加日志和监控）；测试优化（验证数据准确性、优化性能与稳定性、处理边界情况）。
适用场景示例：爬取网站产品信息、调用 API 并解析返回数据、创建定时抓取新闻的脚本、分析网站 API 接口文档、应对网站反爬虫限制。数据存储可选 CSV/Excel、JSON、MySQL/PostgreSQL/MongoDB、S3/OSS 及数据仓库。
最佳实践与限制：遵守 robots.txt，设置合理请求间隔，使用 User-Agent 和请求头，实现错误重试，做数据去重和验证，必要时使用代理池，保存原始数据和日志。反爬应对策略包括请求头伪装、代理轮换、验证码处理、Cookie 管理、请求频率控制和 JavaScript 渲染。资料未提供该技能的具体安装命令、收费方式、支持平台及效果保证。