SuperAPI AI 工具集

transformers-bio-nlp

通用与其它

查看项目

更新于 10-15 22:40

技能介绍

用途:面向科学文献与生物医学文本的 NLP 处理,覆盖基因、疾病、化学物等实体识别,关系抽取,抽取式问答,文本生成与语义检索。

主要能力:pipeline() 一次调用完成分词、推理与后处理;支持 NER(aggregation_strategy="simple" 合并子词)、零样本/微调文本分类、抽取式问答、BioGPT 生成、PubMedBERT 句向量相似度检索,以及基于 Trainer 的自定义数据微调。

使用方式:安装 pip install transformers torch datasets accelerate sentencepiece;GPU(CUDA 11.8)可 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118。常用模型包括 allenai/scibert_scivocab_cased、d4data/biomedical-ner-all、pruas/BENT-PubMedBERT-NER-Gene、microsoft/biogpt、microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext。微调需 BIO/IOB 标注数据,非首子词标签设为 -100。

适用场景:文献实体抽取与药物-疾病对提取、摘要分类与筛选、BioASQ 式问答、假设生成与摘要、语义相似度排序。

限制:部分模型(BioGPT、BioMedLM)为仅研究许可,商用前需核对模型卡;长文本超过 512 token 应在句边界截断;子词切分影响 NER,需聚合策略;微调强烈建议 GPU。具体收费与平台信息暂未提供。