用途：面向视觉、音频与跨模态任务，提供 CLIP、Whisper、Stable Diffusion 三类预训练模型的选型与使用参考。
主要能力：CLIP 做零样本图像分类、以文搜图、内容审核与图像相似度，图像与文本编码到同一空间，分类即找最近文本嵌入；模型有 ViT-B/32（151M，均衡推荐）、ViT-L/14（428M，质量最好但更慢）、RN50（102M，最快但质量较低）。Whisper 支持 99 种语言转写与翻译，可输出 SRT/VTT 字幕、词级时间戳，task="translate" 译为英文，word_timestamps=True 开启词级时间戳；模型有 turbo（809M，推荐）、large（1550M，质量最高）、small（244M）、base（74M）、tiny（39M）。Stable Diffusion 支持文生图、图生图风格迁移、Inpainting 补全、ControlNet 结构引导与 LoRA 自定义风格；模型含 SDXL（1024×1024）、SD 1.5（512×512，更快）、SD 2.1（768×768）。
使用方式：CLIP 相似度计算前务必归一化嵌入，标签描述越具体零样本准确率越高，嵌入建议缓存。Whisper 已知语言时手动指定可减少自动检测延迟，可用 initial prompt 提升术语准确率，faster-whisper 为约 4 倍加速实现。SD 关键参数：num_inference_steps 20-50、guidance_scale 7-12、negative_prompt 如 "blurry, low quality"、img2img 的 strength 0.5-0.8、固定 seed 复现结果；显存优化可用 CPU offload、attention slicing、VAE tiling、xFormers、DPM scheduler。
适用场景：零样本分类与图像检索、语音转写与字幕、文生图与图像编辑。
限制：CLIP 不适合细粒度分类，无空间理解，可能带训练数据偏见；Whisper 在静音或噪声下可能幻觉，无说话人分离，超 30 分钟音频准确率下降，不适合实时字幕；SD 强烈建议 GPU，SDXL 显存需求大，可能生成解剖错误，依赖提示词工程。参考显存：CLIP ViT-B/32 约 2GB、Whisper turbo 约 6GB、SD 1.5 约 6GB、SDXL 约 10GB。资源：CLIP https://github.com/openai/CLIP，Whisper https://github.com/openai/whisper，Diffusers https://huggingface.co/docs/diffusers。