SuperAPI AI 工具集

truefoundry-llm-deploy

智能体与模型

查看项目

更新于 10-16 08:09

技能介绍

用途:将大语言模型与 ML 推理服务器部署到 TrueFoundry,支持 vLLM、TGI 及自定义模型服务器,提供 GPU 分配、模型缓存、健康探针与生产级默认配置。

主要能力:提供 CLI(tfy apply,写 YAML 清单后应用)与 REST API(CLI 不可用时用 tfy-api.sh)两条路径;可发现集群 GPU 与基础域名;调用 deployment-specs API 获取推荐 GPU、CPU、内存、存储规格;生成含 artifacts_download 缓存卷、健康探针、rollout 策略的清单;部署后轮询状态并返回访问 URL。

使用方式:先确认 TFY_BASE_URL、TFY_API_KEY 与 TFY_WORKSPACE_FQN,检查 tfy --version,未安装则 pip install 'truefoundry==0.5.0'。收集模型 ID、框架、访问方式等信息后,预览 tfy apply -f tfy-manifest.yaml --dry-run --show-diff,确认后执行 tfy apply -f tfy-manifest.yaml。运行后可用 curl 调用 /v1/chat/completions 与 /health 验证。

适用场景:部署 HuggingFace 模型做推理、GPU 加速模型服务、部署 NVIDIA NIM 优化容器。不适用于普通 Web 应用、数据库或 Helm chart 部署。

限制:首次部署通常需 10-30 分钟(GPU 供给、模型下载、加载);vLLM/TGI 需较大共享内存,建议设为内存请求的 90-95%;系统内存应远大于显存;--trust-remote-code 会执行模型仓库任意 Python,仅限可信来源;容器镜像版本以 references/container-versions.md 固定版本为准,不应在运行时抓取外部发布页。具体收费与价格暂未提供。