SuperAPI AI 工具集

vastai-performance-tuning

部署与运维

查看项目

更新于 10-15 23:30

技能介绍

用途:为 Vast.ai 上的训练或推理类任务做性能调优。官方基准字段(如 dlperf、dlperf_usd)只能用于初步筛选 offer,不能替代对自身工作负载的实测;优化时应一次只调一个瓶颈,并在不可变的工作负载数据上比较完成延迟、吞吐、可靠性与总成本。

主要步骤:1) 建立基线,测量端到端完成时间、启动、数据等待、GPU 利用率、显存、错误与成本;2) 用 verified、rentable、reliability、CUDA、network、dlperf、dlperf_usd 字段筛选候选,不放松工作负载约束;3) 减少启动浪费,使用更小的预构建镜像、避免运行时安装包,并分开测量拉取与就绪时间;4) 调数据路径,把热数据放到合适的本地存储,仅在证据支持下增加 loader 或预取,关注带宽与磁盘成本;5) 调计算与显存,逐一调整 batch、精度、累积、kernel 与多卡策略,同时保持输出正确;6) 按 SLO 和每有效单位的最佳总成本选型,并销毁全部基准实例。

必要用法:基准自动化只需搜索与实例权限;数据集、模型 token 与镜像仓库凭据应分离并限定范围。先用 Read 和 Grep 检查清单、配置、提供方输出与现有测试,Write 或 Edit 仅用于已批准的方案、实现、测试或脱敏记录;未经操作者明确批准,不得创建、更新、销毁或充值 Vast.ai 资源。输出应包含工作负载标识、候选、样本数、吞吐、延迟、利用率、每接受单位成本、决策与已销毁实例 ID。

限制:输出在各候选间不一致时基准视为无效,需先恢复正确性;只有提供方 dlperf 时结论只能标为暂定;GPU 利用率低但数据等待高,应先修输入路径;基准实例未销毁须停止分析并关闭成本泄漏。具体价格、平台支持范围与效果资料未提供。