Vision & Multimodal Skill 是面向 Claude 的视觉与多模态能力技能,用于图像分析、文档处理和多模态理解。
【用途】 该技能适用于图像分析与描述、文档/PDF 处理、截图分析、类似 OCR 的文本提取、视觉比较,以及图表和示意图解读。
【支持的格式】 JPEG:适用于照片和自然场景。 PNG:适用于截图、UI 和文本。 GIF:动画格式,仅分析第一帧。 WebP:现代压缩格式。 PDF:文档,通过 Files API 处理。
【图像尺寸指南】 最小 200 像素,更小会降低准确率;最佳约 1000×1000 像素;最大 8000×8000 像素。 Token 成本约为(宽 × 高)/ 1000。 提示:将最长边调整到 1568 像素,可节省 30%–50% 的 token。
【核心使用模式】
- 单图分析:使用 Python 的 anthropic 库,将图像以 base64 编码后,作为 image 类型内容块与文本提示一同发送给 client.messages.create,模型示例为 claude-sonnet-5。
- 从 URL 获取图像:使用 httpx 获取图像内容,再进行 base64 编码,然后沿用单图分析模式。
- 多图:可在一次请求中比较多张图像(最多 100 张),在 content 数组中依次放置多个 image 块和文本块。
- 带图像的小样本学习:通过提供示例图像和对应的助手回答,让模型按示例方式进行分类或输出。
- PDF 处理:通过 Files API(beta),将 PDF 以 base64 编码后作为 document 类型内容块发送,让模型进行总结等处理。
【视觉提示工程】 策略 1:角色分配——在提示中赋予模型专家角色,例如“你拥有完美的视觉和出色的细节关注能力,是分析技术图表的专家”,再要求其分析架构图。 策略 2:分步思考——要求模型在回答前系统分析图像,例如先判断整体主题、关键元素、元素间关系、突出细节,再给出答案。 策略 3:结构化输出——例如要求从收据中提取信息并以 JSON 返回,包含 vendor、date、items、total 等字段。
【图像优化】 文档提供 optimize_for_claude 函数,使用 PIL 打开图像,按最大尺寸 1568 计算缩放比例,使用 LANCZOS 重采样缩小图像,再以 JPEG 质量 85 保存并 base64 编码,从而减少 token 使用。
【常见用例】 文本提取(类似 OCR):要求提取图像中所有文本,尽量保留原始格式和结构,不清晰处标注 [unclear]。 表格提取:要求将图像中的表格数据提取为带表头和对齐的 Markdown 表格。 图表分析:要求分析图表类型、坐标轴/标签、关键数据点以及可见的趋势或模式。
【最佳实践】 建议:使用高质量图像(≥1000 像素);缩放大型图像以节省 token;提供需要关注内容的上下文;使用小样本示例以获得一致输出。 不建议:发送小于 200 像素的图像;期望手写内容有完美 OCR;发送超大图像(>8000 像素);忽略多图带来的 token 成本。
【限制】 无法识别特定个人;可能难以处理非常小的文本;动画 GIF 只分析第一帧;某些特殊符号可能被误读。
【相关内容】 文档还提及 llm-integration(API 基础)、extended-thinking(复杂推理)、citations-retrieval(文档引用)等主题。