用途:在需要处理预训练 Transformer 模型时使用,覆盖自然语言处理、计算机视觉、音频与多模态任务,支持加载模型、执行推理以及在自定义数据上微调。
安装:核心依赖可用 uv pip install torch transformers datasets evaluate accelerate;视觉任务追加 uv pip install timm pillow;音频任务追加 uv pip install librosa soundfile。
认证:部分 Hub 模型需登录。可用 from huggingface_hub import login 后 login(),或设置环境变量 export HUGGINGFACE_TOKEN="your_token_here",令牌可在 Hugging Face 设置页获取。
主要能力:Pipeline API 支持文本生成、分类、NER、问答、摘要、翻译、图像分类、目标检测、音频分类等快速推理;可精细控制模型加载、设备放置与精度;文本生成支持贪心、束搜索、采样及 temperature、top-k、top-p 等参数;Trainer API 支持自定义数据集微调,含混合精度、分布式训练与日志;Tokenizer 支持填充、截断和特殊 token 处理。
用法:简单任务用 pipeline("task-name", model="model-id");高级控制可分别加载 AutoTokenizer 与 AutoModelForCausalLM,搭配 device_map="auto" 后调用 generate;微调使用 TrainingArguments 与 Trainer,设置 output_dir、num_train_epochs、per_device_train_batch_size 等后调用 trainer.train()。
适用场景:快速原型、简单推理、定制预处理与批量处理、任务适配与领域适配。
限制:资料未提供具体收费、价格、性能效果或平台支持范围;使用前需自行确认模型许可与硬件条件。