用途:为机器学习数据集实现数据版本控制,保证实验可复现并追踪数据血缘。适用于超出 Git 容量的大数据集版本管理、数据与代码同步变更、跨团队共享数据集、回滚历史数据版本以及合规审计。
主要能力:在 Git 仓库中初始化 DVC,用 dvc add 跟踪文件或目录并生成 .dvc 元数据;配置 S3、Azure Blob、GCS、SSH 或本地等远程存储后端;通过 dvc.yaml 与 params.yaml 构建带依赖追踪的可复现管道,用 dvc repro 仅重跑变更阶段并缓存输出、记录指标;支持 dvc push/pull/checkout 共享与切换数据版本,并可结合 MLflow 与 CI/CD 自动化。
必要用法:需 Git 仓库、DVC 安装(pip install dvc)及待版本化的原始数据。常用命令包括 dvc config core.autostage true、dvc remote add -d storage s3://my-dvc-bucket/ml-project、dvc add data/raw/、dvc push、dvc pull、dvc repro、dvc checkout。凭据应保存在被 Git 忽略的 .dvc/config.local。
限制与注意:大文件(>10MB)应先 dvc add 而非直接提交 Git;清理缓存前务必先 dvc push,否则会丢失数据版本;需保持 dvc.yaml 与脚本同步;合并冲突需像代码一样解决后再 dvc checkout;可用 dvc pull <specific.dvc> 选择性拉取以减少耗时。具体配置模板与完整实现见资料中的 EXAMPLES.md,本文未提供。