SuperAPI AI 工具集

mcore-build-and-dependency

通用与其它

查看项目

更新于 10-16 02:34

技能介绍

用途:为 Megatron-LM 提供基于容器的开发环境搭建与依赖管理流程。核心原则是在容器内构建和开发,因为 CI 容器自带正确的 CUDA 工具链、PyTorch 构建和预编译原生扩展(TransformerEngine、DeepEP 等),裸机难以复现。

主要能力:获取镜像(内部 GitLab 拉取或从 Dockerfile 构建)、启动容器(本地 Docker 或 Slurm/Pyxis+enroot)、用 uv 管理依赖组(training、dev、test、linting、build)、新增依赖与解决 uv.lock 冲突。

关键事实:依赖操作在 CI 容器内进行,venv 位于 /opt/venv 且已在 PATH。默认使用 docker/.ngc_version.dev 与 dev uv 组;lts 使用 docker/.ngc_version.lts 与 lts 组,由 PR 标签 container::lts 选择,且仅在用户明确要求时使用。安装命令:uv sync --locked --group dev --group test、uv sync --locked --only-group linting、uv sync --locked --group lts --group test。新增依赖用 uv add <package> 后 uv lock。docker/Dockerfile.ci.dev 有 main 和 jet 两个阶段,jet 需内部密钥,本地/公开构建应加 --target main。

限制:LTS 依赖已移至 docker/lts/requirements.txt,不再放 pyproject.toml,需重建镜像;uv.lock 为机器生成,冲突应取 main 版本后重新 uv lock;不要在宿主机运行 uv sync 或 pip install。资料未提供具体版本号、性能数据或收费信息。