SuperAPI AI 工具集

qwencloud-vision

智能体与模型

查看项目

更新于 10-16 09:53

技能介绍

用途:这是 qwencloud/qwencloud-ai 下的视觉理解技能,用于分析、描述图片和视频,提取其中信息,并做 OCR 文字识别与视觉推理。触发场景包括用户想分析或描述图像/视频、从画面中抽取信息、识别图中文字等。

主要能力:scripts/analyze.py 支持单图理解、多图对比、视频理解、思考模式与高分辨率;scripts/reason.py 做基于 QVQ 的视觉链式推理(始终流式);scripts/ocr.py 从文档、发票、表格中提取文字;scripts/vision_lib.py 提供 base64、上传、流式等共享能力。请求 JSON 中输入字段四选一:"image"(单图)、"images"(多图数组)、"video"(视频文件)、"video_frames"(帧数组);视频不能用 "image" 字段。

使用方式:需 Python 3.9+(仅标准库),并配置 API 密钥,按 QWENCLOUD_API_KEY、QWEN_API_KEY、DASHSCOPE_API_KEY 顺序查找,脚本会自动加载当前目录与项目根目录的 .env。密钥检查只能报告“set/not set”等状态,禁止输出明文或展示 .env 内容;未配置时应引导用户创建含占位符的 .env。执行示例:python3 <this-skill-dir>/scripts/analyze.py --request '{"prompt":"What is in this image?","image":"<url>"}' --output output/qwencloud-vision/result.json --print-response;视频可用 --upload-files;结构化抽取可用 --schema。脚本需用绝对路径运行,不切换目录,前台执行,先跑 --help 查看参数。

模型选择:用户显式指定的模型必须原样使用,不得替换或添加未请求参数;仅当用户未指定时才参考当前视觉模型目录。模型目录为时点快照,应以官方列表为准,可用 qwencloud-model-selector 或 CLI 获取实时数据。Token Plan(sk-sp-)密钥仅支持具备视觉能力的多模态模型,且不要用 curl,须用自带脚本;Coding Plan 密钥不能直接调用 API。

输入与限制:图片支持 BMP/JPEG/PNG/TIFF/WEBP/HEIC,最短边 ≥10px,宽高比 ≤200:1;视频支持 MP4/AVI/MKV/MOV/FLV/WMV,fps 范围 [0.1,10] 默认 2.0;具体时长与大小限制以模型目录为准。API 接受 HTTP/HTTPS URL、Base64 data URI、oss:// URL,本地路径由脚本自动转换;本地文件 ≥7MB 须加 --upload-files,走临时存储(48 小时 TTL,100 QPS,不适合生产)。

错误处理:401 为密钥无效或缺失,400 为请求格式错误,429 限流退避重试,5xx 服务端错误重试。输出默认写到当前工作目录下 output/qwencloud-vision/,禁止写入技能安装目录。用量与计费可通过 qwencloud-usage 技能或控制台查看,不得编造相关链接。若 CDN 获取失败可使用本地回退资料。