SuperAPI AI 工具集

tao-port-huggingface-model

部署与运维

查看项目

更新于 10-16 04:34

技能介绍

用途:将 HuggingFace(HF)计算机视觉模型集成进 NVIDIA TAO Toolkit 生态,贯穿 tao-core 配置、tao-pytorch 训练器、tao-deploy 的 TensorRT 部署管线。工作方式为迭代推进:每一步都按构建、测试、调试、修复、重测的循环执行。SKILL.md 本身是工作流协调者,各阶段详细步骤、代码块、Docker 调用与门槛放在 references/ 下的对应文件中,进入每个阶段时需先读对应参考文件。

主要能力与流程(共七个阶段):阶段 0 检查 Python 3.10+ 与 git,宿主机 GPU/CUDA/Docker 检查交由 tao-setup-nvidia-gpu-host,验证 nvcr.io 的 NGC 登录,拉取用户提供的 TAO 镜像并准备本地标签 tao-pytorch-base:latest、tao-deploy-base:latest,可选 tao-dataservices-base:latest。阶段 1 收集凭据、定位或克隆四个 TAO 仓库、启动检查容器,确认 HF 模型为 CV 模型且 pipeline_tag 受支持,提取配置与 state-dict 结构并验证 ONNX 导出;若为 NLP、音频或 LLM 则拒绝。阶段 2 为检测到的任务类型寻找最接近的 TAO 参考模型并通读其实现,判断 backbone 是否已存在于 backbone_v2/。阶段 3 编写 tao-core 配置与 tao-pytorch 训练器、原生推理与评估。阶段 4 完成 ONNX 导出,以及在 tao-deploy 中实现 TRT 引擎构建、推理与评估。阶段 5 在 setup.py 中注册 console_scripts 并添加 L0 测试。阶段 6 为强制阶段,必须在容器内运行单元测试、静态检查、wheel 构建与端到端管线验证。阶段 7 为条件阶段,仅在需要改善精度、延迟或模型大小时进入,可做超参调优、INT8 量化、通道剪枝加重训、知识蒸馏或分辨率调优。

使用方式与限制:所有工作在本地进行,只允许从远端读取或克隆;不得 git commit/push、创建远端分支、MR/PR/issue,也不得向任何镜像仓库推送镜像。默认平台为 local-docker,四个 TAO 仓库需克隆到同一工作目录,且必须从顶层 tao-core/ 安装,不能使用嵌套子模块;挂载整个工作目录,先 pip 安装顶层 tao-core,并将顶层路径放在 PYTHONPATH 前。所有 Python 工作都在容器内执行,不使用宿主机 venv 或 pip。若参数给出 HF 模型 ID 或 URL,将作为阶段 1 的起点;缺少凭据或模型短名时需向用户询问。文中所述具体命令、配置字段与完整步骤需参见对应 references 文件,本简介未提供其全部内容。