clip

用途

CLIP 是 OpenAI 开发的对比语言-图像预训练模型，用于连接视觉与语言。它让模型能够通过自然语言理解图像，适用于以下场景：

零样本图像分类（无需训练数据）
图像-文本相似度/匹配
语义图像搜索
内容审核（检测 NSFW、暴力内容）
视觉问答
跨模态检索（图→文、文→图）

主要能力

在 4 亿对图文数据上训练
零样本性能在 ImageNet 上可媲美 ResNet-50
提供多种模型：RN50、RN101、ViT-B/32（推荐）、ViT-B/16、ViT-L/14
支持批量处理、嵌入归一化、与向量数据库（如 Chroma/FAISS）集成
采用 MIT 许可证

使用方式

安装

pip install git+https://github.com/openai/CLIP.git
pip install torch torchvision ftfy regex tqdm

零样本分类示例

import torch
import clip
from PIL import Image

# 加载模型
device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load("ViT-B/32", device=device)

# 加载图像
image = preprocess(Image.open("photo.jpg")).unsqueeze(0).to(device)

# 定义可能的标签
text = clip.tokenize(["a dog", "a cat", "a bird", "a car"]).to(device)

# 计算相似度
with torch.no_grad():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)

    # 余弦相似度
    logits_per_image, logits_per_text = model(image, text)
    probs = logits_per_image.softmax(dim=-1).cpu().numpy()

# 打印结果
labels = ["a dog", "a cat", "a bird", "a car"]
for label, prob in zip(labels, probs[0]):
    print(f"{label}: {prob:.2%}")

可用模型

# 模型（按大小排序）
models = [
    "RN50",           # ResNet-50
    "RN101",          # ResNet-101
    "ViT-B/32",       # Vision Transformer（推荐）
    "ViT-B/16",       # 质量更好，速度更慢
    "ViT-L/14",       # 质量最佳，速度最慢
]

model, preprocess = clip.load("ViT-B/32")

模型	参数量	速度	质量
RN50	102M	快	好
ViT-B/32	151M	中	更好
ViT-L/14	428M	慢	最佳

图像-文本相似度

# 计算嵌入
image_features = model.encode_image(image)
text_features = model.encode_text(text)

# 归一化
image_features /= image_features.norm(dim=-1, keepdim=True)
text_features /= text_features.norm(dim=-1, keepdim=True)

# 余弦相似度
similarity = (image_features @ text_features.T).item()
print(f"Similarity: {similarity:.4f}")

语义图像搜索

# 索引图像
image_paths = ["img1.jpg", "img2.jpg", "img3.jpg"]
image_embeddings = []

for img_path in image_paths:
    image = preprocess(Image.open(img_path)).unsqueeze(0).to(device)
    with torch.no_grad():
        embedding = model.encode_image(image)
        embedding /= embedding.norm(dim=-1, keepdim=True)
    image_embeddings.append(embedding)

image_embeddings = torch.cat(image_embeddings)

# 用文本查询搜索
query = "a sunset over the ocean"
text_input = clip.tokenize([query]).to(device)
with torch.no_grad():
    text_embedding = model.encode_text(text_input)
    text_embedding /= text_embedding.norm(dim=-1, keepdim=True)

# 找到最相似的图像
similarities = (text_embedding @ image_embeddings.T).squeeze(0)
top_k = similarities.topk(3)

for idx, score in zip(top_k.indices, top_k.values):
    print(f"{image_paths[idx]}: {score:.3f}")

内容审核

# 定义类别
categories = [
    "safe for work",
    "not safe for work",
    "violent content",
    "graphic content"
]

text = clip.tokenize(categories).to(device)

# 检查图像
with torch.no_grad():
    logits_per_image, _ = model(image, text)
    probs = logits_per_image.softmax(dim=-1)

# 获取分类
max_idx = probs.argmax().item()
max_prob = probs[0, max_idx].item()

print(f"Category: {categories[max_idx]} ({max_prob:.2%})")

批量处理

# 处理多张图像
images = [preprocess(Image.open(f"img{i}.jpg")) for i in range(10)]
images = torch.stack(images).to(device)

with torch.no_grad():
    image_features = model.encode_image(images)
    image_features /= image_features.norm(dim=-1, keepdim=True)

# 批量文本
texts = ["a dog", "a cat", "a bird"]
text_tokens = clip.tokenize(texts).to(device)

with torch.no_grad():
    text_features = model.encode_text(text_tokens)
    text_features /= text_features.norm(dim=-1, keepdim=True)

# 相似度矩阵（10 张图像 × 3 个文本）
similarities = image_features @ text_features.T
print(similarities.shape)  # (10, 3)

与向量数据库集成

# 将 CLIP 嵌入存储到 Chroma/FAISS
import chromadb

client = chromadb.Client()
collection = client.create_collection("image_embeddings")

# 添加图像嵌入
for img_path, embedding in zip(image_paths, image_embeddings):
    collection.add(
        embeddings=[embedding.cpu().numpy().tolist()],
        metadatas=[{"path": img_path}],
        ids=[img_path]
    )

# 用文本查询
query = "a sunset"
text_embedding = model.encode_text(clip.tokenize([query]))
results = collection.query(
    query_embeddings=[text_embedding.cpu().numpy().tolist()],
    n_results=5
)

适用场景

零样本图像分类，无需标注数据
图像-文本匹配与相似度计算
语义图像搜索与跨模态检索
内容审核与安全检测
视觉问答

最佳实践

大多数情况使用 ViT-B/32，平衡良好
归一化嵌入，余弦相似度必需
批量处理更高效
缓存嵌入，重新计算成本高
使用描述性标签，零样本性能更好
推荐使用 GPU，速度提升 10-50 倍
预处理图像，使用提供的 preprocess 函数

性能

操作	CPU	GPU (V100)
图像编码	~200ms	~20ms
文本编码	~50ms	~5ms
相似度计算	<1ms	<1ms

限制

不适合细粒度任务，最适合宽泛类别
需要描述性文本，模糊标签效果差
基于网络数据，可能存在数据集偏差
不提供边界框，仅支持整图
空间理解有限，位置/计数能力弱

资源

GitHub: https://github.com/openai/CLIP ⭐ 25,300+
论文: https://arxiv.org/abs/2103.00020
Colab: https://colab.research.google.com/github/openai/clip/
许可证: MIT

技能介绍

用途

主要能力

使用方式

安装

零样本分类示例

可用模型

图像-文本相似度

语义图像搜索

内容审核

批量处理

与向量数据库集成

适用场景

最佳实践

性能

限制

资源