TensorFlow Data Pipelines 是一个围绕 tf.data API 构建高效、可扩展数据管道的技能，目标是最大化 GPU/TPU 利用率、提升训练性能。
用途 该技能用于在 TensorFlow 中构建数据输入管道，覆盖数据集创建、变换、批处理、打乱、预取与性能优化等环节，适合需要加载与预处理大规模数据、实现数据增强、优化数据加载以避免 GPU/TPU 空闲、构建多模态管道、处理变长序列批处理、缓存预处理结果、支持多设备分布式训练、解析 TFRecord/CSV 等文件格式、对不平衡数据做分层采样、实现可复现打乱、构建实时数据增强管道、以流式数据集优化内存、实现预取并行、以及高效划分验证集与测试集等场景。
主要能力
- 数据集创建：支持从张量切片（from_tensor_slices）、生成器函数（from_generator，需提供 output_signature）、范围数据集（range）等方式创建数据集。
- 数据变换：提供归一化管道、数据增强管道（随机翻转、亮度、对比度等）、多步变换链（缩放、归一化、缓存、打乱、增强、随机旋转等）。
- 批处理与打乱：支持基本批处理配置（batch size、buffer size、drop_remainder）、按序列长度动态批处理（group_by_window）、分层采样（sample_from_datasets）。
- 性能优化：缓存策略（内存缓存、磁盘缓存、缓存位置选择）、预取（自动 AUTOTUNE 与手动 buffer size）、并行数据加载（num_parallel_calls、interleave 并行读文件）、内存管理（take/skip 划分训练验证集）。
- 高级模式：for 循环迭代、分布式数据集（OneDeviceStrategy、MirroredStrategy 的 experimental_distribute_dataset）、训练循环集成、向量化操作（vectorized_map）。
- 模型集成：与 Keras 模型配合（model.fit）、验证数据集、自定义训练循环（tf.function + GradientTape）。
- 文件型数据集：TFRecord 文件解析（parse_single_example、decode_raw）、CSV 文件解析（decode_csv、TextLineDataset）、图像文件加载与预处理（read_file、decode_jpeg、resize）。
- 数据验证与 DataLoader 生成：提供可配置的 gen_dataset 函数，支持 batch_size、is_training、shuffle、preprocess、drop_remainder、total_steps 等参数。
使用方式 通过 Python 代码调用 tf.data API 构建管道，典型流程为：创建数据集 → map 预处理 → cache → shuffle → map 增强 → batch → prefetch。示例代码展示了从张量、生成器、范围、TFRecord、CSV、图像路径等来源构建管道，并接入 Keras 的 model.fit 或自定义训练循环。
适用场景 适用于图像、文本、音频等多模态数据的训练管道构建，尤其是数据量大、无法全部载入内存、需要数据增强、需要分布式训练或需要优化数据加载吞吐的场景。
限制 资料未提供该技能的安装方式、依赖版本、收费与价格、平台支持范围等信息，暂未提供。使用时应遵循资料中列出的最佳实践（如始终使用 prefetch、使用 num_parallel_calls=AUTOTUNE、在昂贵操作后缓存、先打乱后批处理、合理设置 buffer size、训练集使用 drop_remainder、缓存后再做随机增强、用 interleave 并行读文件、训练集 repeat、用 take/skip 划分数据集、用 shard 做分布式分片等），并避免常见陷阱（批处理后再打乱、不使用 prefetch、缓存位置错误、buffer 过小、不使用 num_parallel_calls、将整个数据集载入内存、确定性增强、未设置随机种子、忽略批次余数、对验证集 repeat、不使用 AUTOTUNE、缓存超大导致 OOM 等）。