TensorFlow Data Pipelines 是一个围绕 tf.data API 构建高效、可扩展数据管道的技能，目标是为模型训练提供最佳性能。内容涵盖数据集创建、数据变换、批处理与打乱、性能优化、高级模式、模型集成、基于文件的数据集以及数据验证等主题。
用途 该技能适用于需要加载和预处理无法全部放入内存的大型数据集、实现数据增强以提升训练鲁棒性、优化数据加载以避免 GPU/TPU 空闲、为特殊格式创建自定义数据生成器、构建图像/文本/音频多模态管道、为变长序列实现高效批处理策略、缓存预处理数据以加速训练、处理多设备分布式训练、解析 TFRecord 与 CSV 等文件格式、为不平衡数据集实现分层采样、创建可复现的数据打乱、构建实时数据增强管道、以流式数据集优化内存占用、实现预取以形成管道并行，以及高效创建验证集与测试集划分等场景。
主要能力
- 数据集创建：支持 from_tensor_slices 从 NumPy 数组创建、from_generator 从生成器函数创建（需提供 output_signature）、Dataset.range 创建范围数据集等。
- 数据变换：包括归一化管道（如将像素值转为 float32 并除以 255）、数据增强管道（随机水平翻转、随机亮度、随机对比度、随机旋转等），以及 resize 等多重变换链式组合。
- 批处理与打乱：基础批处理配置（BATCH_SIZE、BUFFER_SIZE、drop_remainder），按序列长度分桶的动态批处理，以及通过 sample_from_datasets 实现的分层采样。
- 性能优化：内存缓存与磁盘缓存（cache('/tmp/dataset_cache')）、缓存位置选择、自动与手动预取、并行数据加载（num_parallel_calls=AUTOTUNE、interleave 并行读文件）、以及通过 take/skip 进行内存管理。
- 高级模式：for 循环迭代、分布式数据集（OneDeviceStrategy、MirroredStrategy 的 experimental_distribute_dataset）、训练循环集成、以及基于 tf.vectorized_map 的向量化操作。
- 模型集成：将数据集用于 Keras 的 model.fit，创建独立的训练与验证数据集，以及自定义训练循环（tf.function + GradientTape）。
- 基于文件的数据集：TFRecord 文件解析（parse_single_example、decode_raw）、CSV 文件解析（decode_csv、TextLineDataset、skip 表头）、图像文件加载与预处理（read_file、decode_jpeg、resize）。
- 数据验证：通过 gen_dataset 等函数生成带有 batch_size、is_training、shuffle、drop_remainder、total_steps 等配置的数据集。
使用方式 该技能通过代码示例展示 tf.data 的典型用法：从张量切片或生成器创建数据集，用 map 应用归一化与增强，用 cache 缓存、shuffle 打乱、batch 批处理、prefetch 预取，并可将数据集传入 Keras 模型或自定义训练循环。文中给出大量可直接参考的代码片段。
适用场景 适用于图像、文本、音频等多模态数据的训练管道构建，大型数据集流式读取与预处理，数据增强，分布式训练，以及需要控制内存与并行度的深度学习训练流程。
限制 资料未提供该技能的安装方式、收费模式、具体版本要求或平台支持范围，这些信息暂未提供。部分示例依赖 TensorFlow Addons（tfa）等外部库，实际使用需自行确认环境。