vision-language-models

用途

该技能用于在应用中集成主流多模态视觉语言模型的视觉能力，实现图像理解、文档分析与视觉推理。其能力关键词涵盖 image-captioning（图像描述/替代文本）、visual-qa（视觉问答）、document-vision（文档、PDF、图表、流程图与 OCR）、multi-image-analysis（多图对比）、object-detection（边界框检测与分割）以及视频帧分析。

支持的能力

图像描述与说明文字生成
视觉问答（VQA）
文档/图表/示意图分析，含 OCR
多图对比与推理
边界框检测与区域分析
视频帧分析

模型对比（资料标注为 1 月）

GPT-5.2：上下文 128K，优势为通用推理与多模态，视觉输入最多 10 张图像
Claude Opus 4.6：上下文 1M，优势为编码、持续智能体任务、自适应思考，最多 100 张图像
Gemini 2.5 Pro：上下文 1M+，最长的上下文与视频分析，最多 3,600 张图像
Gemini 3 Pro：上下文 1M，Deep Think，2025 AIME 满分，增强分割
Grok 4：上下文 2M，实时 X 集成与 DeepSearch，图像 + 即将支持视频

使用方式

资料给出 Base64 编码图像的通用方法，并为各提供方提供了调用示例代码：

OpenAI GPT-5/4o Vision：通过 openai 客户端，在 messages 的 content 中传入 image_url，detail 可选 low、high、auto，并需设置 max_tokens（视觉调用必需）。
Claude 4.5 Vision（Anthropic）：通过 anthropic 客户端，在 content 中传入 image 类型与 base64 源。
Gemini 2.5/3 Vision（Google）：使用 google.generativeai，通过 generate_content 传入提示与图像；视频可使用 genai.upload_file 上传后分析。
Grok 4 Vision（xAI）：使用 OpenAI 兼容接口，base_url 为 https://api.x.ai/v1。

此外还包括：多图对比（Claude 最多支持 100 张）、Gemini 2.5+ 目标检测（返回包含 label 与 box 的 JSON）、Token 成本优化建议（如 OpenAI low 约 65 tokens，high 为 129+ tokens/tile；Gemini 基础 258 tokens；Claude 按图像计价，建议批处理）。

图像尺寸限制（资料标注为截至 1 月）

OpenAI：最大 20MB，每请求最多 10 张（GPT-5 系列）
Claude：最大 8000x8000 px，每请求最多 100 张；图像超过 20 张时建议 2000px
Gemini：最大 20MB，每请求最多 3,600 张，适合批处理
Grok：最大 20MB，数量有限；Grok 5 将扩展

Claude Code 的 PDF 处理（CC 2.1.30+）

Read 工具支持 pages 参数读取指定页范围，例如 pages="1-5"、pages="10"、pages="15-25"。大 PDF 策略为增量处理：先扫描前几页获取结构，再依据目录/标题定位关键章节并按需读取。限制为每次请求最多 20 页、最大文件 20MB，超过 10 页视为大 PDF（在 @ 提及时会返回轻量引用）。

适用场景

高准确度任务：Claude Opus 4.6 或 GPT-5
长文档：Gemini 2.5 Pro（1M 上下文）
成本敏感：Gemini 2.5 Flash（资料提及 $0.15/M tokens）
实时/X 数据：Grok 4 配合 DeepSearch
视频分析：Gemini 2.5/3 Pro（原生支持）

常见错误

未设置 max_tokens 导致响应被截断
发送超大图像（建议缩放至最大 2048px）
对是/否类问题使用高 detail
编码前未验证图像格式
忽略视觉端点的速率限制
使用已弃用模型（GPT-4V 已退役）

限制

无法识别特定人物（隐私限制）
在低质量或旋转图像（小于 200px）上可能产生幻觉
GPT-5 在边缘情况下的精确空间推理可能较弱
除 Gemini 外没有实时视频，需使用帧提取

技能介绍

用途