用途:qwen-mm-plugins-core 提供本地文件检查与可视化能力,适合智能体在需要查看文件内容时调用,官方建议优先使用这些 MCP 工具而非手动写脚本。
主要能力:读取与检查方面,media_info 用于查看视频/音频元数据(时长、分辨率、fps、编解码器、码率、音视频与字幕轨、旋转、章节);visualize 查看 PDF、Office、CSV、代码、笔记本、3D 等文件;read_image 以动态分辨率读图;read_video 抽帧读视频;save_view 可保存视频指定帧(times=[...])或文档页为图片(pages="...")。生成与标注方面,crop 从图像裁剪矩形区域,draw_bbox 在图像上画边界框。坐标使用 0–1000,基于显示图像,read_image、crop、draw_bbox 会应用 EXIF 方向。
工作模式:默认原生模式下,工具返回文本和图像供智能体查看,不发起模型 API 调用;设置 QWEN_MM_NATIVE_MODE=0 时,共享字幕回退会把图像结果发送到配置的 VL 端点并返回文本说明。
支持格式:文档 .pdf、.svg 内置支持;Office .docx、.pptx、.vsdx 需 libreoffice;数据 .csv、.xlsx 返回文本表格与图表;代码、纯文本、字幕 .srt/.vtt 返回文本;网页需 playwright;.drawio 渲染为 SVG;3D 模型内置支持,blender 效果最佳;NIfTI .nii/.nii.gz 本地只读,返回 3 个中心切片,4D 用 pages 选择卷(默认 1),不做重采样,仅用于检查、不用于临床诊断;GIS 格式内置支持;.ipynb 返回文本单元与内嵌图像;.tex 编译为 PDF,失败回退源码;图片/视频委托给 read_image/read_video。未知扩展名返回不支持类型错误。
使用建议:处理视频/音频前先用 media_info 读头部,快速识别 VFR、旋转、fps/分辨率/DAR 不一致、音频采样率与声道差异、无音轨或异常起始时间等问题。分辨率用 budget 控制(small 预览、normal 约 1024 默认、large 细节)。视频可先用 fps=1、budget="normal" 分段浏览,再对片段用 fps=2、budget="large",用 start_time/end_time 限定时间窗。
与其他能力的关系:核心只负责读取、渲染和基础图像操作;需要模型推理或搜索时安装 qwen-mm-plugins-api(VL 视觉、Omni 音视频、转写、分割等)和 qwen-mm-plugins-search(反向图片与网页),可用 draw_bbox 标注其 grounding 输出,先用 save_view 取帧。
限制:部分格式依赖外部工具(libreoffice、playwright、blender);NIfTI 结果仅用于检查;未提供价格、平台与安装命令等细节。