SuperAPI AI 工具集

databricks-ai-runtime

数据与分析

查看项目

更新于 10-15 20:33

技能介绍

用途:Databricks AI Runtime 通过 databricks air 系列 CLI 命令,把 GPU 训练工作负载提交到 Databricks 无服务器计算,并管理环境、分布式训练配置与任务生命周期,无需自行管理集群或基础设施。

主要能力:支持提交、查询、列出、取消和监控运行;用 YAML 定义工作负载(compute、environment、code_source、command 等);支持环境变量与 Databricks Secrets、超参数(写入 $HYPERPARAMETERS_PATH)、自动重试、权限控制,以及自定义 Docker 镜像。

使用方式:先检查版本与配置,如 databricks version、databricks air --help、databricks auth profiles --skip-validate。提交用 databricks air run --file workload.yaml -p <profile>,可加 --watch 流式查看日志;查询用 databricks air get <JOB_RUN_ID>、databricks air list;取消用 databricks air cancel;日志用 databricks air logs <JOB_RUN_ID>。建议先执行 databricks air run --file workload.yaml --dry-run -o json -p <profile> 校验配置,并用稳定的 --idempotency-key 防止重复提交。字段细节以 databricks air run -h config.<field> 为准。

适用场景:在 Databricks 上运行单机或多机 GPU 训练,配合 torchrun、Accelerate、DeepSpeed、Composer 等启动器,并通过 MLflow 查看指标。

限制:CLI 内置帮助是字段名、GPU 类型和约束的权威来源;配置校验错误以纯文本输出到 stderr 并非零退出;平台不设置每进程的 RANK/LOCAL_RANK,需由分布式启动器分配;自定义镜像不能与 environment.version 或 environment.dependencies 同时使用。资料未提供收费与价格信息。