用途:面向 NLP、计算机视觉、音频与多模态任务,加载 Hub 上的预训练模型,进行推理与自定义数据微调。目标是 Transformers 5.18.0,v5 仅支持 PyTorch(已移除 TensorFlow/JAX 后端)。
安装:建议在独立环境安装,示例命令为 uv venv --python 3.11 .venv-transformers 与 uv pip install --python .venv-transformers/bin/python "transformers[torch]==5.18.0" "torch==2.14.1" "huggingface-hub==1.33.0" "datasets==5.0.1" "accelerate==1.15.0" "peft==0.21.2";Windows 使用 .venv-transformers/Scripts/python.exe。可选依赖按需装:图像用 Pillow,音频用 librosa、soundfile(librosa 需 Python >=3.12)及 FFmpeg,OCR 用 pytesseract 加 Tesseract,量化用 bitsandbytes。注意 Datasets 5.0.1 要求 Hub <2,单独升级会冲突。
鉴权:受限或私有模型需先登录,推荐 hf auth login,或在环境变量设置 HF_TOKEN(勿写进代码或 shell 配置),令牌页面为 https://huggingface.co/settings/tokens;按需使用最小权限范围。
主要能力与用法:用 pipeline 做快速推理,如 pipeline("text-generation", model="Qwen/Qwen2.5-1.5B") 与 pipeline("text-classification", ...);v5 移除了 question-answering、summarization、translation、text2text-generation、image-to-text、visual-question-answering 等 pipeline。需要精细控制时分别加载 AutoTokenizer 与 AutoModelForCausalLM(device_map="auto"),用 model.generate 生成。对话或指令模型应使用该 checkpoint 的 tokenizer.apply_chat_template 格式化消息,并在训练数据准备时保持一致。微调使用 Trainer 与 TrainingArguments(如 output_dir、num_train_epochs、per_device_train_batch_size、report_to)。
适用场景与限制:适合快速原型、简单推理、生成任务、领域适配与批处理。研究使用需记录版本、checkpoint 与数据集 revision、标签顺序、预处理、划分单位、随机种子与生成设置,按依赖关系划分数据,仅用训练/验证数据调参;softmax 分数不等于校准置信度,解码设置也不保证事实准确性。本资料中的 Hub 示例为说明性质,未下载权重、数据集,也未运行托管推理或上传;可选导出、分布式与硬件相关路径仅经源码核对,未端到端测试。分类:通用 AI 工具。