用途
本指南面向需要从网络收集研究数据的学者与研究人员，覆盖两类数据采集方式：面向提供官方接口的平台使用结构化 API 访问，以及在无 API 可用时进行网页抓取。适用数据包括学术数据库的文献元数据、公共仓库的实验数据集、计算社会科学所需的社交媒体帖子，以及政府门户的经济指标等。目标是可靠且负责任地收集研究数据。
主要能力
基于 API 的数据采集
指南指出，在可用时应始终优先选择 API，因为 API 提供结构化数据、获得官方支持且使用条款清晰。文中列出以下学术 API 及其数据范围、速率限制与认证方式：
- OpenAlex：论文、作者、机构、概念，100K 请求/天，需在请求头中提供邮箱。
- Crossref：DOI 元数据，50 请求/秒（礼貌池），需在请求头中提供邮箱。
- PubMed (Entrez)：生物医学文献，10 请求/秒（带密钥），需免费 API key。
- arXiv：预印本，1 请求/3 秒，无需认证。
- CORE：开放获取论文，10 请求/秒，需免费 API key。
指南提供了 OpenAlex 客户端示例代码，包含 search_works 与 get_work 方法，支持查询、过滤（如 publication_year、type、open_access.is_oa）、分页与礼貌限速；并给出 PubMed Entrez API 的检索与详情获取示例，返回 PMID、标题、摘要、期刊与年份等字段。
网页抓取基础
当不存在 API 时，抓取成为必要手段，但指南强调应先检查是否有 API。文中对比了常用工具：
- requests + BeautifulSoup：HTTP + 解析，不支持 JavaScript，速度快，学习曲线低。
- Scrapy：框架，默认不支持 JavaScript（需中间件），速度极快，学习曲线中等。
- Selenium：浏览器自动化，支持 JavaScript，速度慢，学习曲线中等。
- Playwright：浏览器自动化，支持 JavaScript，速度中等，学习曲线中等。
- httpx：异步 HTTP，不支持 JavaScript，速度极快，学习曲线低。
指南给出使用 BeautifulSoup 抓取会议论文标题、链接与作者的示例，包含 User-Agent 标识、超时设置与请求间隔；并演示使用 Playwright 处理 JavaScript 渲染页面，包括等待网络空闲、等待选择器与提取结果项。
伦理准则
指南提供研究者抓取检查清单：优先检查 API；阅读 robots.txt；审阅服务条款；积极限速（最低每 2–5 秒 1 次请求，未经许可不得并行）；标识身份（在 User-Agent 中包含邮箱与机构）；最小化数据采集；考虑 IRB 要求（涉及可识别个人的数据需咨询 IRB）；安全存储数据；引用数据来源；检查版权（公开可见数据的抓取不等于可再分发）。
同时给出使用 urllib.robotparser 解析 robots.txt 的示例，返回是否允许抓取及 crawl_delay。
数据存储与导出
指南提供 DataCollector 类示例，支持将结果保存为 JSON、CSV，并保存检查点（checkpoint）以便中断后续采，输出文件名带时间戳。
最佳实践
- 始终优先使用 API 而非抓取。
- 实现指数退避：请求失败后等待 1 秒、2 秒、4 秒再重试。
- 保存检查点，便于大规模采集中断后恢复。
- 记录一切：访问的 URL、时间与返回内容，以保证可复现性。
- 先在小样本上测试解析逻辑，再运行大规模采集。
- 尊重速率限制。
- 记录采集方法，论文方法部分应描述数据采集方式、时间与所用过滤条件。
使用方式
本指南以文档与代码示例形式提供，用户可参照示例代码在 Python 环境中实现 API 调用或网页抓取，并结合检查清单与最佳实践规范采集流程。具体安装命令与运行环境要求暂未提供。
适用场景
适用于为机器学习论文构建数据集、为系统综述收集元数据、为政策研究收集公共数据等研究任务。
限制
指南未提供具体安装命令、依赖版本或完整项目结构；示例代码需用户自行适配目标平台；各 API 的速率限制与认证要求可能变化，需以官方文档为准；涉及人类受试者数据时需遵循所在机构的 IRB 与数据管理政策。