SuperAPI AI 工具集

VLM

智能体与模型

查看项目

更新于 10-17 23:20

技能介绍

VLM(Vision Chat)技能用于指导开发者使用 z-ai-web-dev-sdk 实现视觉对话功能,让 AI 模型能够结合图片与文本提示进行理解和回答。技能位于项目中的 {project_path}/skills/VLM 路径,参考脚本位于该技能目录下的 scripts/ 目录,其中 {Skill Location}/scripts/vlm.ts 是可直接运行的示例。

主要能力

  • 分析图片内容:对单张或多张图片进行描述、比较、问答。
  • 支持多种内容类型:image_url(静态图片,如 PNG、JPEG、GIF、WebP、BMP)、video_url(视频)、file_url(文档,如 PDF、DOCX、TXT),并可在同一条消息中组合文本与多种媒体。
  • 支持思维链(Chain of Thought)与流式输出。
  • 常见用途包括商品分析、单据与表单信息提取、图像分类打标、OCR 文字提取、为图片生成替代文本、内容审核等。

使用方式

  1. CLI(适合简单任务):使用 z-ai vision 命令,参数包括 -p/--prompt(必填的问题或指令)、-i/--image(图片 URL 或本地路径,可多次指定)、-t/--thinking(启用思维链)、-o/--output(输出 JSON 文件)、--stream(流式输出)。示例:z-ai vision -p "Describe this image" -i "https://example.com/image.png"。
  2. SDK(适合多轮对话和复杂应用):通过 ZAI.create() 初始化,调用 zai.chat.completions.createVision({ messages, thinking }) 发起请求,从 response.choices[0]?.message?.content 获取结果。技能文档给出了单图分析、多图比较、base64 本地图片、多轮对话 VisionChatSession、图像分类打标、OCR 提取文本以及 Express.js 后端接口等示例代码。

推荐做法与限制

  • 建议使用 base64 编码传递图片,以提高性能与可靠性。
  • z-ai-web-dev-sdk 必须仅在后端代码中使用,禁止在客户端代码中导入或调用,也不得在客户端暴露凭据。
  • 文档提示 SDK 已预装,无需额外安装。
  • 生产环境应做好错误处理、图片 URL 校验、用户数据清洗与限流;处理图片时需考虑用户隐私。
  • 文档未提供定价、平台支持范围或性能指标等信息。