SuperAPI AI 工具集

build-and-dependency

通用与其它

查看项目

更新于 10-16 02:34

技能介绍

用途:为 Megatron-LM 提供基于容器的开发环境搭建与依赖管理方案。核心原则是在容器内构建和开发,因为 CI 容器自带正确的 CUDA 工具链、PyTorch 构建和预编译原生扩展(TransformerEngine、DeepEP 等),裸机难以复现。

主要能力:提供 dev 与 lts 两种镜像变体,由 IMAGE_TYPE 构建参数和 container::lts PR 标签控制;dev 为默认,用于 CI、本地开发和多数 PR,lts 用于稳定性测试并排除 ModelOpt 等前沿组件。依赖在 pyproject.toml 中声明,虚拟环境位于容器内 /opt/venv。uv 依赖组包括 training、dev、lts、test、linting、build。

使用方式:获取镜像可拉取内部 CI 镜像,或从 Dockerfile.ci.dev 构建,构建时须加 --target main 以跳过需要内部密钥的 jet 阶段。启动容器可用本地 Docker 或 Slurm(Pyxis + enroot)。依赖操作必须在容器内执行,例如 uv sync --locked --group dev --group test、uv sync --locked --only-group linting、uv sync --locked --group lts --group test。新增依赖时在容器内执行 uv add <package> 与 uv lock,再提交 pyproject.toml 和 uv.lock。uv.lock 冲突不要手工解决,先取 main 版本再在容器内重新 uv lock。

限制与注意:不要在宿主机运行 uv sync 或 uv pip install;不要用裸 pip install。uv sync --locked 失败通常需重新 uv lock;缓存占满可挂载 $HOME/.cache/uv;拉取报 access forbidden 时注册表 URL 不应带端口。内部镜像拉取需要内部 GitLab 访问权限。其余细节资料未提供。