SuperAPI AI 工具集

multi-modal

智能体与模型

查看项目

更新于 10-16 03:43

技能介绍

用途:multi-modal 是 custom-plugin-prompt-engineering 中的多模态提示技能,绑定到 advanced-techniques-agent,目标是把视觉、音频与文档理解的提示写法规范化,便于在不同模态下复用。

主要能力:支持 modality 参数,取值 vision、document、audio、video,必填;task_type 参数取值 analysis、extraction、generation、qa,默认 analysis;detail_level 参数取值 low、medium、high,默认 medium。资料给出视觉分析、视觉问答、图表分析、PDF 抽取、表单/发票处理、音频转写增强等提示模板。

使用方式:通过 Skill("custom-plugin-prompt-engineering:multi-modal") 调用,并按参数架构传入 modality 等参数。例如视觉分析模板要求描述主体、动作、场景、细节与整体解读;文档抽取模板要求输出标题、关键字段、表格、日期数字,并以结构化 JSON 输出;表单/发票模板给出 document_type、fields 等抽取 schema;音频模板要求准确转写、说话人识别、关键时间戳、主题摘要与行动项。

最佳实践:图像提示要明确查找目标、要求结构化输出、询问置信度;文档提示要定义抽取 schema、处理多页文档、校验抽取数据;音频提示要指定语言、要求说话人分离、请求时间戳。

限制:资料仅给出提示模板与参数,未说明支持的具体模型、API、平台、收费或性能。故障排查表提示可能出现过拟合细节、图像文字遗漏、文档解析错误、转写不准,建议分别改用仅可见信息、提高细节、拆分章节、说明音频质量限制。多个引用仅提及 GPT-4V 文档与 Claude Vision 指南,未给出具体链接。