SuperAPI AI 工具集

open-access-mining-guide

通用与其它

查看项目

更新于 10-16 06:15

技能介绍

用途:系统性挖掘开放获取全文文献库,批量抽取结构化研究数据,支持证据综合、趋势分析与假设生成。\n\n主要能力:梳理文本与数据挖掘(TDM)的法律框架,如欧盟 DSM 指令第3、4条、英国 CDPA s.29A、美国合理使用;介绍主要开放获取仓库,包括 PubMed Central、Europe PMC、CORE、arXiv、Unpaywall/OpenAlex,及其覆盖范围、格式与 API;讲解全文获取与解析,例如通过 E-utilities 获取 PMC JATS XML,并按标题、摘要、正文分节、参考文献解析;按章节抽取信息(引言、方法、结果、讨论);使用 SciSpaCy、BioBERT、PubTator 做科学命名实体识别;构建可复现管线,涵盖查询定义、文章检索、文本抽取、信息抽取、质量控制与数据导出。\n\n使用方式:按指南流程组合 API 调用与解析脚本,示例中 PMC 批量下载需注意 NCBI E-utilities 速率限制(无密钥3次/秒,有密钥10次/秒),并建议缓存、版本控制与随机种子。\n\n适用场景:生物医学系统综述与 meta 分析、欧洲研究标注文本挖掘、跨学科元数据发现、预印本分析、找可自由获取的论文版本。\n\n限制:发布商可依第4条选择退出;订阅内容需机构许可;不得再分发全文,只能共享衍生数据;须引用数据来源;各仓库覆盖、许可与 API 条款不同,使用前应核对;法律与合规要求可能因司法辖区而异。