SuperAPI AI 工具集

huggingface

智能体与模型

查看项目

更新于 10-16 07:24

技能介绍

用途:为 Hugging Face 生态提供结构化工作流,涵盖 Hub 上的模型、数据集、Spaces 与论文搜索,Transformers 模型加载与推理,datasets 库的数据集管理,PEFT/LoRA 与 QLoRA 微调,以及 Spaces 部署与查询。可用 Skill({ skill: 'huggingface' }) 调用。

主要能力:MCP 工具集成优先,如 hub_repo_search、hub_repo_details、paper_search、space_search、hf_doc_search;回退到 Python API 与 huggingface_hub CLI。推理支持 pipeline 与 AutoTokenizer/AutoModel 显式模式,也可用 InferenceClient 走服务端推理及 OpenAI 兼容 chat_completion。数据集支持 load_dataset(含 streaming)、push_to_hub、map 预处理与格式设置。微调覆盖 LoraConfig、get_peft_model、BitsAndBytesConfig 4-bit QLoRA、TRL 的 SFTTrainer/SFTConfig(packing、bf16、push_to_hub),以及 Liger 内核与 Flash Attention 2 性能优化和适配器 merge_and_unload。Spaces 支持 Gradio 应用、gradio_client 查询与 HfApi 创建上传仓库。

使用方式:安装 pip install transformers datasets peft trl accelerate bitsandbytes,可选 pip install flash-attn --no-build-isolation,再执行 huggingface-cli login。注意 HF_TOKEN 用环境变量,模型选择关注 pipeline_tag、下载量、许可证与显存占用。

适用场景:模型/数据集检索与选型、本地与服务端推理、领域微调与 SFT、评估(如 TGI 部署后跑 lm_eval)、Spaces 演示部署。

限制:训练效果与吞吐受硬件(CUDA/显存)与模型支持度约束;Flash Attention 仅限 Linux+CUDA;部分模型许可证对商用有限制;未提供具体收费与价格信息。