用途：为学术与研究场景提供合乎伦理与法律的网页数据采集指导，覆盖 robots.txt 合规、速率限制、法律框架、数据隐私以及机构伦理审查（IRB）要求。
主要能力： 一是伦理框架，包括尊重 robots.txt 与服务条款、先查 robots.txt、审查 ToS 明确禁止项、存疑时联系站点运营方；降低服务器影响，建议速率不超过每秒 1–2 次请求、尽量在非高峰时段抓取、缓存响应避免重复请求、使用 If-Modified-Since 条件请求；只采集所需数据，抓取前定义数据需求，无伦理依据不抓取个人数据，对个人信息做匿名化或假名化。 二是透明与归属，设置含联系方式的描述性 User-Agent，被联系时能表明身份，在论文中注明数据来源。 三是机构合规，确认 IRB/伦理委员会是否要求网络数据审批，遵守机构可接受使用政策，并考虑 GDPR、CCPA 等数据保护法规。
使用方式示例：资料给出 Python 函数 check_robots_txt()，用 urllib.robotparser 读取 robots.txt，返回是否允许抓取、crawl_delay 与建议；scrape_with_rate_limit() 对 URL 列表限速抓取，默认 delay=1.0 秒，默认 User-Agent 为 "ResearchBot/1.0 (Academic research; contact: researcher@university.edu)"，并统计 status、content_length；assess_irb_requirements() 依据数据类型与是否含 PII 判断 IRB 需求，含 PII 时建议提交协议、说明必要性、去标识化、存储安全与销毁计划。
法律与限制：资料提及美国 CFAA、hiQ v. LinkedIn（2022）、欧盟 GDPR、数据库指令及 DSM 指令第 3–4 条文本与数据挖掘例外，并强调公开数据比登录墙后数据更可辩护、绕过技术措施风险更高、学术合理使用与研究例外因法域而异、存疑时咨询机构法律顾问。最佳实践清单要求抓取前后分别检查 robots.txt、ToS、是否已有 API、IRB、最小数据需求、日志记录、匿名化、安全存储、方法记录、来源署名与可否共享数据。资料建议 API 优先于 HTML 抓取。未提供具体价格、平台支持列表或效果数据。