用途:本技能用于从 Google Scholar 伦理收集搜索结果、引用次数、作者档案和相关文章等文献计量数据,并讨论在数据需求与合法、合理访问之间取得平衡的工作流。
主要能力:介绍限速、反封锁、验证码与封锁处理、数据解析、存储与缓存等实践;给出用 scholarly Python 库搜索论文和获取作者档案的示例字段,如标题、作者、年份、来源、摘要、引用数、URL,以及 h-index、i10-index 等;还给出代理配置、指数退避重试、以 JSON 和 CSV 保存结果并附加采集元数据的示例。
必要用法:官方资料建议优先使用 OpenAlex、Crossref、CORE 等免费 API 或 Google Scholar Alerts、Publish or Perish 等合规替代方案;仅在需要 Google Scholar 特有指标、排序或小规模采集(< 500 结果)时考虑抓取。抓取时建议请求间隔 15-30 秒并加随机抖动、轮换用户代理、定期清理 Cookie、积极缓存、分批调度,避免重复请求同一页面。
适用场景:小规模文献计量研究、需要 Google Scholar 特有指标或排序的场景。限制:Google Scholar 无官方 API,其服务条款限制自动化访问;违规可能导致 IP(含机构 IP)被临时或永久封锁,法律后果存在争议;不应再分发原始抓取数据,发表时需注明数据来源。部分实现细节和具体效果暂未提供。