用途:该技能用于帮助研究者在合法、合规、尊重网站运营方的前提下采集网络数据,重点覆盖伦理框架与合规流程,而非单纯抓取技巧。
主要能力:强调检查robots.txt与网站服务条款;通过限速(建议每秒最多1-2次请求)、错峰采集、缓存响应、条件请求降低服务器负担;只采集必要数据,对个人信息做匿名化或假名化;设置带联系方式的描述性User-Agent。技能提供check_robots_txt函数示例(用urllib.robotparser读取robots.txt并判断can_fetch与crawl_delay),以及带限速与自定义请求头的scrape_with_rate_limit示例,并包含IRB需求评估函数示例。
法律与合规:梳理美国CFAA、hiQ诉LinkedIn(2022)案,欧盟GDPR、数据库指令及文本与数据挖掘例外(DSM指令第3-4条)。一般指引:公开数据比需登录数据更可辩护;绕过技术措施的抓取风险更高;学术合理使用与研究例外因法域而异;有疑问时咨询机构法律顾问。
适用场景:学术研究中的网络数据采集,尤其是涉及个人信息、机构审查或跨境数据保护法规的项目。
限制与注意:资料未提供具体安装命令、依赖版本、可执行包或平台支持信息,暂未提供。技能未给出完整代码仓库或运行步骤,示例为Python片段,需自行按环境调整。法律部分为一般性说明,不构成法律意见;IRB判断也被描述为“可能豁免但需与IRB确认”,并非确定结论。若存在公开API(如Twitter/X、Reddit、CrossRef),技能建议优先使用API而非抓取HTML。