用途:在 CoreWeave GPU 云环境中处理训练数据与模型产物,包括模型权重(safetensors/GGUF)、训练数据集(parquet、TFRecord、WebDataset)、检查点快照与推理缓存卷。数据通过 Kubernetes PersistentVolumeClaim 与区域存储类流通,要求静态加密、命名空间级 RBAC 以及数据出站审计。
主要能力:创建或选择已加密 PVC 并限定挂载给指定命名空间服务账号;用短生命周期 Job 导入产物并校验 SHA-256;仅向经审核的目标导出,保留校验和与数据所有者批准,执行保留策略;在审计系统记录存储创建、权限变更、删除与外部出站。文中给出数据类型敏感度表:模型权重中敏感、始终加密;训练数据集高敏感(可能含 PII);检查点训练后保留 30 天;HuggingFace 令牌为关键级,需季度轮换。
必要用法:导入前需确定数据分类、保留计划、区域、加密存储类与经批准的目标,并从可信来源取得产物大小与 SHA-256。示例流程:先 apply 导入 Job,等待完成(kubectl -n research wait --for=condition=complete job/dataset-import --timeout=30m),再查看日志中的校验和。校验不符时隔离 PVC 内容、保留脱敏回执并从批准来源重新获取,不得重试到生产卷或关闭完整性校验。
限制与注意:导出仅允许到已批准区域;令牌存于 K8s Secret 并使用 KMS 加密;数据驻留要求含 PII 的数据集仅在批准区域处理;检查点保留由 CronJob 垃圾回收执行(默认 30 天)。文中未提供具体价格、平台支持范围或性能数据。社区贡献内容,不隶属于 CoreWeave, Inc.。