SuperAPI AI 工具集

vastai-core-workflow-b

办公与效率

查看项目

更新于 10-15 23:30

技能介绍

用途:把临时性的多实例编排替换为 Vast.ai Serverless 控制面,用于生产推理端点的模板验证、扩缩容设定与零停机滚动更新。

主要能力:先在非生产端点验证候选模型或环境的加载、就绪、响应结构与代表性输出;依据延迟、错误率、排队时间、并发与成本目标设定 min_load、min_workers、max_workers、cold_workers、inactivity_timeout、target_queue_time、max_queue_time;在初始发布时把负载推到约两倍预期容量再回落三次,帮助引擎学习 GPU 成本与性能;更新前记录延迟、排队时间、错误率、活跃/非活跃 worker、模型标识与花费作为基线;保存新模板并更新 workergroup 引用,观察非活跃 worker 先更新、活跃 worker 排空在途请求;最后校验全部 worker 是否切换到候选模板并对比 SLO,失败则回退到上一已验证模板。

使用方式:使用具备文档所述 misc Serverless 权限、且无计费写入权限的受限密钥;模型仓库凭据放在经批准的环境变量中,与 Vast.ai 密钥分离。变更前用 Read 与 Grep 检查清单、配置、提供方输出与现有测试;仅在获批的计划、实现、测试或脱敏回执中使用 Write 或 Edit,未经操作者明确批准不得创建、更新、销毁或充值 Vast.ai 资源。

输出:金丝雀与生产模板标识、扩缩容策略与负载测试及发布时间线、SLO 对比、worker 收敛情况与回滚决策,并返回端点/workergroup ID、新旧模板标识、扩缩容边界、负载画像、SLO 差值与最终发布状态。

限制与错误处理:金丝雀无法加载模型时不得更新生产;发布中排队时间超标应暂停接收、在预算内增加安全容量或回滚;worker 不收敛时检查 workergroup 日志与配置,不得声称零停机完成;新输出契约退化时回滚到上一已验证模板并保留对比证据。具体命令、价格与平台细节资料未提供。