SuperAPI AI 工具集

alterlab-transformers

通用与其它

查看项目

更新于 10-15 19:56

技能介绍

用途:在 Hugging Face Transformers v5(≥5.0,资料称当前 5.17.0)下加载 Hub 预训练模型做 NLP、视觉、音频与多模态任务的推理和微调。v5 仅支持 PyTorch。

主要能力:用 pipeline() 完成文本分类、NER、零样本分类、聊天模型文本生成、语音识别、图像分类/检测、图像-文本到文本等快速推理;用 Auto* 类显式加载模型与分词器/处理器,支持 dtype、device_map、注意力后端与 4/8 位量化;用 model.generate() 控制贪心、采样(temperature/top-k/top-p)、beam search、流式与聊天模板;用 Trainer 微调编码器或解码器,可配合 peft 做 LoRA。

用法:安装 uv pip install "transformers>=5" torch accelerate datasets,视觉加 pillow 与 torchvision,音频加 librosa soundfile,LoRA/量化加 peft、bitsandbytes。私有或受限模型需用 huggingface_hub 的 login() 或设置 HF_TOKEN,显式传 token=。pipeline 示例:pipeline("text-generation", model="Qwen/Qwen3-0.6B")。文本生成用 max_new_tokens 而非 max_length。v4 代码迁移要点:dtype= 取代 torch_dtype=;load_in_8bit/4bit 改为 quantization_config=BitsAndBytesConfig(...);摘要、翻译、问答等专用 pipeline 已移除,改为 chat 模型加指令提示;pipeline("image-to-text") 等改为 pipeline("image-text-to-text");Trainer 用 processing_class=,warmup_ratio 改为 warmup_steps=0.1,report_to 默认 "none";保存固定为 safetensors。

适用场景:模型推理原型与批量推理、需要显式控制精度/设备/量化的加载、解码策略调优、自定义标注数据集的微调与 LoRA。

限制:仅 PyTorch,TF/Flax 相关接口已移除;部分高级解码(如对比搜索、约束生成)移至 Hub 的 custom_generate 仓库,需 trust_remote_code=True。研究与论文中应固定模型 ID 与 revision,并报告 checkpoint、transformers 版本、解码参数与随机种子。使用前需核对模型卡的许可证与门控条款。分类模型的表格特征任务、自定义 PyTorch 训练循环、蛋白质语言模型、时间序列基础模型等不在本技能范围内。