SuperAPI AI 工具集

transformers

智能体与模型

查看项目

更新于 10-15 21:46

技能介绍

用途:该技能面向使用 Hugging Face Transformers 库处理预训练模型的场景,涵盖 NLP、计算机视觉、音频与多模态任务,可用于加载模型、执行推理以及在自定义数据上微调。

主要能力:提供 Pipeline 快速推理,支持文本生成、文本分类、命名实体识别、问答、摘要、翻译、图像分类、目标检测、音频分类等;支持模型加载与设备、精度配置;支持多种解码策略(贪心、束搜索、采样)及 temperature、top-k、top-p 等参数;支持使用 Trainer API 微调,含自动混合精度、分布式训练与日志;支持分词、填充、截断与特殊标记处理。

必要用法:安装核心依赖 uv pip install torch transformers datasets evaluate accelerate 视觉任务追加 uv pip install timm pillow 音频任务追加 uv pip install librosa soundfile 部分 Hub 模型需认证,可执行 from huggingface_hub import login login() 或设置环境变量 export HUGGINGFACE_TOKEN="your_token_here" 令牌获取地址:https://huggingface.co/settings/tokens

适用场景:快速原型与简单推理可用 pipeline("text-generation", model="gpt2") 等;需要精细控制时可分别加载 AutoModelForCausalLM 与 AutoTokenizer,并使用 device_map="auto";任务适配可用 TrainingArguments 配合 Trainer 训练。

限制:资料未提供具体效果、价格、平台支持范围与性能数据。模型可用性、下载与认证受 Hugging Face Hub 约束,部分模型需令牌;依赖包安装与运行环境需自行准备。完整任务覆盖与优化细节见 references 下 pipelines.md、models.md、generation.md、training.md、tokenizers.md。