用途：CLIP（Contrastive Language-Image Pre-Training）是 OpenAI 的模型，通过自然语言理解图像，适用于零样本图像分类（无需训练数据）、图文相似度匹配、语义图像搜索、内容审核（如检测 NSFW、暴力）、视觉问答以及跨模态检索（图→文、文→图）。
主要能力：基于 4 亿图文对训练，在 ImageNet 上零样本表现与 ResNet-50 相当；提供 RN50、RN101、ViT-B/32、ViT-B/16、ViT-L/14 等模型，参数量与速度、质量各异，ViT-B/32 为常用推荐。可计算图像与文本嵌入的余弦相似度，支持批量处理，并可接入 Chroma、FAISS 等向量数据库做检索。
使用方式：安装命令为 pip install git+https://github.com/openai/CLIP.git 以及 pip install torch torchvision ftfy regex tqdm。加载模型用 clip.load("ViT-B/32", device=device)，图像经 preprocess 处理，文本用 clip.tokenize 编码，再调用 encode_image、encode_text 得到特征并归一化后计算相似度。
适用场景：零样本分类、语义图搜、内容审核、跨模态检索等宽类别任务。
限制：不适合细粒度任务，标签需具描述性，模糊标签效果差；受网络数据影响可能存在偏差；不提供边界框，仅处理整图；空间理解与计数能力较弱。性能上 GPU 比 CPU 快约 10-50 倍。许可为 MIT。
替代方案：BLIP-2 更适合生成描述，LLaVA 适合视觉语言对话，Segment Anything 适合图像分割。资源：GitHub https://github.com/openai/CLIP，论文 https://arxiv.org/abs/2103.00020。