SuperAPI AI 工具集

dali-dynamic-mode

通用与其它

查看项目

更新于 10-16 02:33

技能介绍

用途:指导编写、审查和迁移使用 DALI 命令式动态模式 API(nvidia.dali.experimental.dynamic,简称 ndd)的代码。动态模式是 DALI 的命令式 Python API,可直接在普通 Python 控制流中调用算子,而无需构建和运行管道图。

主要能力:核心数据类型为 Tensor(单样本)和 Batch(样本集合,允许形状不一)。Batch 无 getitem,需用 batch.tensors[i] 取样本、batch.slice[...] 做样本内切片。支持 .torch() 转 PyTorch 张量,ragged 批次可用 pad=True 零填充。Reader 为有状态对象,创建一次跨 epoch 复用,batch_size 传给 next_epoch(...)。随机算子需显式传 batch_size。设备用 device="gpu"(而非管道模式的 "mixed")。默认 eager 异步执行,消费数据时自动求值;调试可用 EvalMode.sync_cpu 或 sync_full。支持检查点(reader 与 RNG 注册、collect、save/load)。

使用方式:导入 import nvidia.dali.experimental.dynamic as ndd,直接调用 ndd 算子。运行需安装可导入动态模式的 NVIDIA DALI;GPU 解码或算子需 CUDA 版 DALI 与 NVIDIA GPU/驱动;框架转换需安装对应框架(如 PyTorch)。

适用场景:图像分类等数据加载与预处理、分布式分片读取、从管道模式迁移到动态模式。

限制:动态模式比管道模式更灵活但性能可能略低,追求最大吞吐建议用管道模式;reader 一旦以某 batch_size 使用便不可更改,也不能在批/样本模式间切换;next_epoch 迭代器须完全消费后才能再次调用;检查点格式版本严格,不自动升级,且非线程安全。