用途:通过配置的模型服务理解媒体。工具按模型族划分。
VL 模型(Qwen-VL,OpenAI 兼容端点):vision_chat、ocr、grounding。
Omni 模型(Qwen-Omni,结合视频帧与音频):perceive_media、omni_asr、omni_asr_timestamped、omni_multi_speaker_asr、omni_av_caption、omni_av_grounding、omni_av_counting、omni_music_caption。
其他服务:transcribe_audio(Qwen3-ASR)、segmentation(SAM3 服务)。
选型:问 VLM 图像/视频用 vision_chat;提取图片文字用 ocr;检测定位物体用 grounding(返回 0–1000 归一化框)。Omni 通用问答优先 perceive_media;需要固定结构输出再用原子工具:纯文本转写 omni_asr、带时间戳 omni_asr_timestamped、说话人分离 omni_multi_speaker_asr、随时间描述 omni_av_caption、找何时发生 omni_av_grounding、计数 omni_av_counting、音乐标注 omni_music_caption。分割用 segmentation,快速长文件转写用 transcribe_audio。
用法要点:VL/Omni 端点默认 DashScope,使用 DASHSCOPE_BASE_URL 与 DASHSCOPE_API_KEY;也可传 base_url、api_key、model 指向兼容端点或自托管服务。OrcaRouter 配 ORCAROUTER_API_KEY 后传 base_url="https://api.orcarouter.ai/v1";OpenRouter 配 OPENROUTER_API_KEY 后传 base_url="https://openrouter.ai/api/v1"。Omni 工具接收本地音视频 file_path 或 http/OSS URL,支持 dry_run=true;长文件可分区间多次调用,注意时间戳以区间起点为 0。ASR 支持 srt、text、json,需 ffmpeg。分割需 SAM3_SERVER_URL。
限制:模型优先级为显式 model → 环境变量 → 默认值。视频交付按阶梯处理,超大本地媒体先上传临时 OSS(上限 1 GiB)。grounding 与 omni_av_grounding 分别是空间与时间维度,不可互替。文件读取、搜索与长视频记忆由其他配套技能负责。缺失信息暂未提供。