SuperAPI AI 工具集

Skill 广场

找到适合任务的 Agent Skill,阅读介绍并复制安装命令。

更新于 11-03 00:11

数据与分析

17,300 个结果

litdata

LitData 是用于 PyTorch 训练的数据预处理与流式加载库(导入名 litdata)。其流程为:写入(optimize / map)生成 chunk-*.bin 分块与 index.json,读取(StreamingDataset + StreamingDataLoader)完成缓存、解码与批处理,另提供 StreamingRawDataset 直接流式读取原始文件。它支持图像、音频、视频等媒体类型包装,支持 Parquet 与 Hugging Face 数据集索引,支持多节点优化与键值查找,并提供缓存管理、追踪调试等能力。该技能指导如何专家级地使用 LitData 库并参与其代码库开发,适合在编写或审查调用 litdata 的代码时使用。

数据与分析7 次安装