SuperAPI AI 工具集

repository-harvesting-guide

通用与其它

查看项目

更新于 10-16 07:17

技能介绍

用途:该技能用于通过 OAI-PMH(Open Archives Initiative Protocol for Metadata Harvesting)协议,从开放获取仓储中采集元数据,服务于图书馆互操作、聚合索引与研究数据收集。

协议基础:OAI-PMH 2.0(2002 年起),HTTP GET/POST 传输,XML 响应。数据提供方(如 arXiv、PubMed Central、DSpace、EPrints)暴露标准化接口,至少支持 Dublin Core,也可支持 MARC、MODS、DataCite 等;服务提供方负责采集、聚合与索引。基址示例:https://arxiv.org/oai2。

六个动词:Identify(描述仓储)、ListMetadataFormats(列出格式前缀)、ListSets(列出集合)、ListIdentifiers(仅头部标识)、ListRecords(完整记录)、GetRecord(按标识取单条)。ListRecords/ListIdentifiers 支持 from、until、set 参数。

主要能力与用法:文中给出用 requests 与 ElementTree 编写 Python 采集器的示例,循环处理 resumptionToken 实现分页,请求间 time.sleep(2) 礼貌延迟,并解析 Dublin Core 字段(title、creator、subject 等),跳过 deleted 记录。选择性采集可按日期范围做增量更新,或用 ListSets 后仅采集目标集合。

限制与数据质量:OAI-PMH datestamp 反映元数据最后修改时间而非出版日期;常见问题包括重复记录(按 DOI 再按标题去重)、元数据不全(缺摘要、作者标识、日期格式不一)、编码问题与格式不一致。可通过 Crossref 或 OpenAlex 补充。更多端点可查 OpenDOAR、ROAR、BASE。资料未提供具体收费与平台信息。