用途:在自定义图像-文本数据上微调 CLIP 风格双编码器,强调数据泄漏防护、多 GPU 对比学习批次构建与稳定学习率调度。
主要能力:基于 webdataset 分片的流式数据管线与自动去重;DDP 训练并跨 GPU 聚合负样本;LoRA、全量微调、线性探针三种模式;文本与图像两侧的难负样本挖掘(FAISS 索引);零样本分类与图文检索评估钩子;温度漂移、梯度范数与嵌入坍缩的健全性检查。
使用方式:安装 pip install clip-recipes(源码含训练依赖用 pip install -e .[train],中文/多语实验用 pip install clip-recipes[zh])。单卡运行 python -m clip_recipes.train --config configs/quickstart.yaml;多卡用 torchrun --nproc_per_node=4 -m clip_recipes.train --config configs/laion_400m_lora.yaml --output_dir runs/laion_lora_v3。配置为 YAML,可用 key=value 覆盖,如 train.lr=5e-5、model.lora_r=16。评估用 python -m clip_recipes.eval.zeroshot 与 python -m clip_recipes.eval.retrieval。
适用场景:自定义图文对上的 CLIP 微调、多语(含中文)检索与零样本分类实验、需要防泄漏与训练诊断的研究或生产流程。
限制:资料未提供具体性能数据、收费与平台支持信息;梯度检查点标注为当前受限;分片数需能被 GPU 数整除,否则尾部会被丢弃。