SuperAPI AI 工具集

Scrape

数据与分析

查看项目

更新于 10-15 18:46

技能介绍

用途:在编写或运行网页抓取前与过程中,按合规清单判断目标站点是否可抓取,并规范请求与数据处理,降低法律和合规风险。

主要能力:提供抓取前检查项,包括获取并检查 {domain}/robots.txt 是否禁止目标路径;查看 /terms、/tos、/legal 是否有明确禁止抓取的条款;区分公开事实数据与个人数据;确认登录后内容需授权;站点有 API 时优先用 API。

法律边界提示:公开且无需登录的数据通常合法(hiQ v. LinkedIn 2022);绕过屏障有 CFAA 风险(Van Buren v. US 2021);无视 robots.txt 属灰色地带且常违反 ToS(Meta v. Bright Data 2024);未经同意处理个人数据违反 GDPR/CCPA;重新发布受版权保护内容构成侵权。

请求纪律:请求间隔至少 2-3 秒;User-Agent 使用真实浏览器字符串并附联系邮箱,例如 Mozilla/5.0 ... (contact: you@email.com);遇到 429 进行指数退避;复用会话以减少服务器负载。

数据处理:立即剥离 PII,除非有法律依据否则不收集姓名、邮箱、电话;不做指纹识别;最小化存储,只缓存所需数据并及时删除;保留审计轨迹,记录抓取内容、时间、位置以备举证。代码模式与 robots.txt 解析器见 code.md。

限制:资料未提供具体实现代码、安装命令、收费信息、平台支持或效果数据;所述法律判断为一般性提示,不构成法律意见。