用途：面向需要从网站、API 或 App 采集结构化/非结构化数据的场景，帮助搭建可维护的爬虫系统（单机或分布式），并处理反爬、动态渲染、数据清洗入库与监控运维等问题。
主要能力：覆盖静态页面采集（requests + BeautifulSoup/lxml、Scrapy + parsel）、动态渲染页面（Playwright/Selenium/DrissionPage）、大规模分布式（Scrapy-Redis + Celery + Kafka）、高性能异步（aiohttp + uvloop）、App 抓包逆向（mitmproxy + Frida + jadx）等方向；提供反爬对抗思路，如代理池轮换、UA 伪装、Cookie 维持、字体反爬解析、验证码识别、滑块轨迹模拟、参数签名逆向、WAF/Cloudflare 应对等；并包含数据去重、清洗、数值与日期标准化、MongoDB 等存储方案。
使用方式：资料给出分阶段工作流——需求分析与可行性评估、技术方案设计、环境搭建、实施、反爬实战、清洗存储、分布式架构、App 抓包、问题排查与合规。安装命令示例：pip install requests beautifulsoup4 lxml parsel httpx；pip install scrapy scrapy-redis scrapy-splash；pip install playwright selenium 后执行 playwright install chromium；pip install aiohttp aiofiles；pip install pymongo redis pymysql psycopg2-binary；pip install curl_cffi fake-useragent；pip install mitmproxy。Scrapy 项目可用 scrapy startproject myproject 与 scrapy genspider example example.com 创建。
适用场景：网页/API/App 数据采集、动态页面抓取、反爬问题处理、数据清洗入库、爬虫监控运维等。
限制：需遵守 robots.txt、控制请求频率、注意数据使用与版权合规，不进行破坏性操作；具体效果、收费与平台支持情况暂未提供。