SuperAPI AI 工具集

model-download-user

通用与其它

查看项目

更新于 10-16 02:39

技能介绍

用途:该技能用于搭建 Model Download 微服务,并通过其 REST API 引导用户下载或转换受支持的 AI 模型。适用于从 HuggingFace、Ollama、Ultralytics、Geti、Pipeline Zoo、HLS 下载模型,将 HuggingFace 模型转换为 OpenVINO IR 以部署到 OVMS,进行 INT4/INT8/FP16/FP32 精度转换,指定 CPU、GPU、NPU 或 HETERO 组合设备,下载医疗 AI 模型(3D Pose、rPPG、AI-ECG),以及将模型下载集成到 Docker Compose 工作流。

主要能力:支持多个模型来源(hub 值分别为 huggingface、ollama、ultralytics、openvino、geti、pipeline-zoo-models、hls)。部分来源需要环境变量,例如 HuggingFace 与 OpenVINO 通常需要 HUGGINGFACEHUB_API_TOKEN,Geti 需要 GETI_HOST、GETI_TOKEN、GETI_WORKSPACE_ID。

使用方式:先克隆仓库并进入 microservices/model-download,设置环境变量后启动服务,例如 source scripts/run_service.sh up --plugins <逗号分隔列表> --model-path $PWD/models。服务端口固定为 8200,可用 curl http://localhost:8200/api/v1/health 检查健康状态。下载通过 POST /api/v1/models/download?download_path=<子目录> 提交,请求体包含 models 数组,字段包括 name、hub、type、is_ovms、config;is_ovms 为 true 触发 OpenVINO 转换。提交后从响应的 job_ids[0] 获取任务 ID,轮询 /api/v1/jobs/<job_id> 查看状态(queued、downloading/converting、completed、failed),并用 /api/v1/models/results 验证结果。Ollama 请求须使用 hub、name(基础模型族,如 llama3.2)、revision(标签,如 3b)字段,端口为 8200。

限制:该技能处于预览阶段。资料未提供具体收费、价格或性能效果信息。OpenVINO 转换中 NPU 会强制使用 int4(仅限精确 NPU 设备,不含 HETERO 组合);HETERO 设备在输出路径中会转为文件系统安全 slug。缺失信息暂未提供。