SuperAPI AI 工具集

transformers

编程与开发

查看项目

更新于 10-15 22:39

技能介绍

用途:Hugging Face Transformers 是面向文本、视觉、音频和多模态的模型定义框架,提供统一 API 用于加载预训练模型、运行推理和微调。

主要能力:核心为三类组件——AutoConfig(配置)、AutoModel(权重)、AutoTokenizer/AutoProcessor(预处理)。所有加载通过 from_pretrained() 完成,自动处理下载、缓存与设备放置。提供任务专用 Auto 类,如 AutoModelForCausalLM、AutoModelForSeq2SeqLM、AutoModelForSequenceClassification、AutoModelForTokenClassification、AutoModelForQuestionAnswering、AutoModelForMaskedLM、AutoModelForImageClassification、AutoModelForSpeechSeq2Seq。

使用方式:pipeline() 提供高层推理,覆盖文本生成、分类、NER、问答、摘要、翻译、对话、图像分类、目标检测、语音识别、视觉问答与图像描述。手动推理可用 tokenizer 编码后调用 model.generate(),支持 temperature、top_p、top_k、repetition_penalty 等参数,并可用 apply_chat_template 处理对话格式。微调使用 Trainer 与 TrainingArguments,配合 datasets 加载数据,训练后可 push_to_hub。

性能与限制:支持 BitsAndBytesConfig 的 4/8 位量化、flash_attention_2、torch.compile 与批量推理。建议使用 bfloat16、dtype="auto"、device_map="auto"、safetensors 权重,并设置 pad_token。部分模型需 trust_remote_code=True。注意 Transformers v5 使用 dtype,v4 使用 torch_dtype。部署前需检查模型许可证。具体安装命令与版本要求资料未提供。