SuperAPI AI 工具集

dstack-presets

智能体与模型

查看项目

更新于 10-15 21:35

技能介绍

用途:dstack Presets 用于创建和管理 dstack 预设。预设包含产生结果的推理服务配置、达到的基准测试结果,以及验证所用的确切硬件。它适用于三类工作:寻找优化基线、通过修改源代码进行优化、支持新硬件。

主要能力:提供一套结合智能体的工具包,用于简化模型推理优化;同时提供可移植的预设格式,可将最终预设部署到任意云、Kubernetes 集群或裸金属集群。

使用方式:当用户明确要求创建预设,或通过预设优化模型推理时使用本技能;也可用于管理已创建的预设,例如通过 dstack preset 命令查看会话、列出、导出和删除预设。CLI 命令、YAML 字段、apply 行为、fleet 及其他 dstack 语法请使用 /dstack。具体操作请遵循 presets 文档,并参考配置参考与 CLI 参考。

适用场景:模型推理优化、寻找优化基线、通过补丁修改源代码进行优化、支持新硬件,以及预设的日常管理。

限制:部署或服务模型应使用 service,而非本技能,参见 dstack 技能。资料未提供具体命令示例、价格、平台支持细节或效果数据。