用途:通过 Hugging Face Transformers 库访问数千个预训练模型,覆盖 NLP、计算机视觉、音频和多模态任务,可加载模型、执行推理并在自定义数据上微调。
主要能力:Pipeline API 支持文本生成、分类、NER、问答、摘要、翻译、图像分类、目标检测、音频分类等快速推理;可精细控制模型加载、设备放置与精度;支持贪心、束搜索、采样等解码策略及 temperature、top-k、top-p 参数;Trainer API 支持混合精度、分布式训练与日志;Tokenizer 支持填充、截断和特殊 token 处理。
安装:uv pip install "transformers[torch]==5.12.0" huggingface_hub==1.19.0 datasets==5.0.0 evaluate==0.4.6 accelerate==1.14.0。视觉任务加装 timm==1.0.27 pillow==12.2.0;音频任务加装 librosa==0.11.0 soundfile==0.14.0。需 Python 3.10+,torch extra 需 PyTorch 2.4+。
认证:受限或私有模型需先认证,推荐 hf auth login,或在 Python 中 from huggingface_hub import login; login(),服务器/CI 可设置 HF_TOKEN 环境变量。令牌应使用最小权限,勿硬编码或提交到仓库。
用法:简单推理用 pipeline("task-name", model="model-id");高级控制可分别加载 AutoTokenizer 与 AutoModelForCausalLM,配合 device_map="auto" 和 model.generate;微调使用 TrainingArguments 与 Trainer。
限制:Transformers v5 仅支持 PyTorch,TensorFlow 与 JAX 后端已移除;自定义架构需在 Hub 接受许可后使用 trust_remote_code=True;缓存可用 HF_HOME 或 HF_HUB_CACHE 设置,HF_HUB_OFFLINE=1 仅在模型已缓存后使用。版本固定用于可复现示例,探索性工作需先查看发布说明再放宽。