用途:在 NVIDIA DGX Spark 的 GB10 芯片上管理长时段机器学习任务的统一内存(UMA)与散热。GB10 的 128GB 内存由 CPU 和 GPU 共享,持续功耗上限明显低于标称值,因此不能沿用独立 GPU 的显存假设。该技能适用于任务启动后的内存与散热运维,启动阶段的失败模式由 spark-training-gotchas 处理。
主要能力:一是内存规划,用 free -g 而非 nvidia-smi 评估余量,按权重、优化器、梯度、激活值估算,并与 70B QLoRA、27B LoRA、9B 全量微调等已知锚点对比;二是 OOM 阶梯处理,依次为先清空缓冲缓存(sync; echo 3 > /proc/sys/vm/drop_caches,需 root,仅限运行间隙),再减小 batch 或 packing 长度,再降级方法(如 bf16 LoRA 优先于 QLoRA);三是散热监控,用 bash assets/thermal-sample.sh 30 thermal.log 每 30-60 秒采样温度与功耗并与训练日志对齐;四是并发工作负载管理,避免未设上限的训练器与推理服务器(vLLM、Ollama)争抢同一内存池。
使用方式:启动前先读 free -g 减去系统/驱动开销得到预算,参考 references/uma-accounting.md 做估算并对照锚点;运行中出现 OOM 按阶梯顺序处理;长任务期间持续采样温度与功耗,识别持续约 100W 功耗平台上限与热节流特征;运行重型任务前先检查是否有 GPU 驻留进程(ps aux | grep -E 'vllm|ollama|trl|axolotl' | grep -v grep),停止无关的未设上限服务。
适用场景:长时间训练任务的内存规划、运行中 OOM、吞吐中途下降、训练器与推理服务器同机共存。
限制:nvidia-smi 和 cudaMemGetInfo 会低报或报 N/A,不能作为唯一依据;模型加载是瞬时双倍峰值;QLoRA 的 OOM 不代表模型无法容纳;功耗平台与热节流属正常现象。具体价格、平台支持范围等资料暂未提供。