用途:在 H100 远程主机 h100_sglang 的容器 sglang_bbuf 中开展 SGLang 扩散(diffusion)开发,仓库路径为 /data/bbuf/repos/sglang。适用于验证 diffusion Triton/CUDA JIT 内核、运行扩散模型冒烟测试(DiffGenerator、flux 等)、对比 eager 与 torch.compile 性能、验证 python[diffusion] 可编辑安装改动。
主要能力:环境已就绪,容器基于 lmsysorg/sglang:dev 运行,已克隆仓库并完成 python[all]、python[diffusion] 可编辑安装,挂载 /data/.cache 到 /root/.cache 以及 Infiniband 路径与 show_gids。
用法:先检查主机、容器与 GPU,例如 ssh h100_sglang 'nvidia-smi --query-gpu=index,name,utilization.gpu,memory.used,memory.total --format=csv,noheader,nounits',用 docker exec -it sglang_bbuf /bin/zsh 进入容器。缺少 HF_TOKEN 时导出 HF_TOKEN 与 HUGGINGFACE_HUB_TOKEN;非交互运行用 docker exec sglang_bbuf env HF_TOKEN=<your-hf-token> HUGGINGFACE_HUB_TOKEN=<your-hf-token> zsh -lc "..."。始终设置 CUDA_VISIBLE_DEVICES=<gpu_id>。容器未运行时用 docker start sglang_bbuf。
流程:编辑前检查 git 状态;不建议在仓库脏时直接改动,可用分离 worktree(git worktree add --detach /tmp/sglang_validate_h100 HEAD)或将本地工作树通过 tar 流式传入 /tmp/sglang_local_validate。验证顺序为:python -m compileall 语法/导入检查,定向 JIT 内核冒烟脚本,融合调制回归 pytest python/sglang/jit_kernel/tests/diffusion/test_qwen_image_modulation.py,通用 diffusion 测试,模型级冒烟(脚本需带 if name == "main": 保护),最后服务级冒烟。Torch compile 归因用 python python/sglang/multimodal_gen/benchmarks/compare_perf.py eager.json compile.json,可结合 llm-torch-profiler-analysis。结束清理临时目录。
限制:需 SSH 访问 h100_sglang 与对应 GPU,需自备 HF token;检查点、依赖与环境失败应与代码回归分开判断;其余细节暂未提供。