用途:在 NVIDIA DGX Spark(GB10 Grace Blackwell:aarch64 CPU、SM121 GPU、128GB 统一内存、CUDA 13)上搭建训练或推理环境;也可在重装系统或更新基础镜像后重新验证环境。适用于框架安装失败、挂起、静默回退 CPU,或出现 libcudart、缺失符号等导入错误时。
主要能力与用法:优先使用容器。通用训练/推理使用 nvcr.io/nvidia/pytorch:25.09-py3,运行示例:
docker run --runtime=nvidia --gpus all -it --rm
nvcr.io/nvidia/pytorch:25.09-py3
Unsloth 微调使用 unsloth/unsloth:dgxspark-latest,但该标签为移动标签,需先解析并固定 digest,仅将裸标签作为探查步骤。裸 pip 属例外路径,需严格按顺序执行 NVIDIA 给定序列:
pip install "transformers==5.13.1" "peft==0.19.1" "hf_transfer==0.1.9" "datasets==4.3.0" "trl==1.8.0"
pip install --no-deps "unsloth==2026.7.2" "unsloth_zoo==2026.7.2" "bitsandbytes==0.49.2"
pip install -U "torchao==0.17.0"
其中 --no-deps 不可省略,torchao 升级也不可省略。ABI 规则:Spark 上最常见故障是 CUDA 12/13 ABI 不匹配(wheel 针对 libcudart.so.12,系统只有 .so.13),应从 download.pytorch.org/whl/cu130 获取 cu130 aarch64 wheel,或使用已匹配的容器。可用 python3 -c "import torch; print(torch.version.cuda)" 检查 wheel 构建的 CUDA 版本;NGC 容器内部针对 CUDA 13 构建,不显示 +cu130 标签属正常。
组件状态:PyTorch 有官方 cu130 aarch64 wheel;bitsandbytes 开箱可用;Triton 需设置 TRITON_PTXAS_PATH;flash-attn 不要 pip 构建,NGC 已内置可用版本;xformers 仅源码构建(TORCH_CUDA_ARCH_LIST=12.1);vLLM 仅 nightly wheel;TransformerEngine/NVFP4 训练仅容器支持。Unsloth、Axolotl、TRL、PEFT 走容器路径可安装;LLaMA-Factory 与 NeMo 在 Spark 上较脆弱,需先查上游 issue。
验证:import torch; print(torch.cuda.is_available(), torch.version.cuda) 预期输出 True 13.0。若为 False,依次排查 nvidia-smi、CUDA_VISIBLE_DEVICES、/dev/nvidia* 权限、CUDA 初始化状态,最后才是 ABI(torch.version.cuda 非 13.x)。Triton 编译失败可设置 TRITON_PTXAS_PATH=/usr/local/cuda/bin/ptxas 后重试。
限制:aarch64 + CUDA 13 的 wheel 生态仍在完善;官方 DGX Spark playbook 曾出现损坏,长时间运行前应检查 github.com/NVIDIA/dgx-spark-playbooks 的近期 issue。上述为资料所载内容,未提供的收费、价格或平台信息暂未提供。