用途:Azure AI Content Understanding 是面向 Python 的多模态 AI 服务 SDK,可从文档、视频、音频和图片中提取语义内容,服务于 RAG 与自动化工作流。
主要能力:提供预置分析器,包括 prebuilt-documentSearch(文档,提取 markdown 供 RAG 使用)、prebuilt-imageSearch(图片内容提取)、prebuilt-audioSearch(音频转写并带时间戳)、prebuilt-videoSearch(提取关键帧、转写与摘要)、prebuilt-invoice(发票字段提取)。支持创建自定义分析器,通过 field_schema 定义字段(如字符串、数字、数组、对象)做领域专用抽取,并可列出、获取、删除分析器。结果通过 result.contents[0] 访问,文档内容提供 markdown、页码等,音视频内容提供 transcript_phrases(含起止时间)与 key_frames(含时间与描述)。
使用方式:安装 pip install azure-ai-contentunderstanding。设置环境变量 CONTENTUNDERSTANDING_ENDPOINT=https://<resource>.cognitiveservices.azure.com/,使用 DefaultAzureCredential 认证并构造 ContentUnderstandingClient。分析为异步长运行操作:调用 begin_analyze(analyzer_id=..., inputs=[AnalyzeInput(url=...)]) 返回 poller,再通过 poller.result() 获取结果。也提供 aio 异步客户端,配合 azure.identity.aio 凭据用于高吞吐场景。
适用场景:文档、图片、音频、视频的语义抽取与结构化字段提取,用于 RAG 检索、发票等表单处理及自动化流程。
限制:音视频分析可能耗时数分钟,需处理长运行操作;建议优先使用 URL 来源以减少上传开销;自定义分析器仅用于领域专用字段抽取。输出不应替代环境相关的验证、测试或专家审查;若缺少必要输入、权限、安全边界或成功标准,应停止并请求澄清。具体收费与价格暂未提供。