用途:使用 HuggingFace Transformers 预训练模型完成文本分类、命名实体识别、问答、摘要、文本生成、句向量嵌入、零样本分类、翻译和填空等推理任务。
主要能力:通过 pipeline() 快速调用各类任务,例如: from transformers import pipeline clf = pipeline("text-classification", model="distilbert-base-uncased-finetuned-sst-2-english") 也可手动加载 AutoTokenizer 与 AutoModel 实现自定义逻辑,如均值池化生成句向量并计算余弦相似度。
使用方式:pipeline 适合快速原型;自定义逻辑时手动加载模型与分词器。GPU 用 device=0,Apple Silicon 用 device="mps",默认 CPU。推理时使用 torch.no_grad() 节省内存,长文本设置 truncation=True 与 max_length。批量推理可传 batch_size,大规模数据可用迭代器流式处理。模型可只加载一次复用,并用 TRANSFORMERS_CACHE 缓存本地。
适用场景:情感与文本分类、NER、抽取式问答、摘要、句向量与相似度、零样本分类、翻译、fill-mask 等。
限制:不适用于从零训练大模型(需云 GPU 集群)、简单正则或规则处理、大规模生产服务(应使用 vLLM 或 TGI)以及无需神经模型的任务。可优先使用蒸馏模型加速,并用 model.half() 或 torch.float16 降低显存占用。