用途：将本地文档上传至 TianGong AI Unstructure 的 POST /mineru_with_images 接口做细粒度解析，并只返回纯全文内容，用于下游分块、检索或摘要。脚本始终强制 return_txt=true。\n\n主要能力：支持 PDF、Office（.doc/.docx/.ppt/.xlsx 等）及图片（.png/.jpg/.tiff/.webp 等）多种扩展名；通过环境变量统一管理接口地址、鉴权与模型路由；输出优先取 response.txt，失败则按空行拼接 response.result[].text；并对上游 Markdown 下划线转义（\_ 转 _）做规范化。\n\n用法：先设置环境变量，如 UNSTRUCTURED_API_BASE_URL 与 UNSTRUCTURED_AUTH_TOKEN，可选 UNSTRUCTURED_PROVIDER、UNSTRUCTURED_MODEL。随后运行：python3 scripts/mineru_fulltext_extract.py --file "/absolute/path/to/document.pdf"；需要保存时加 --output "/absolute/path/to/fulltext.txt"。未提供 --api-url 时使用环境变量拼接 /mineru_with_images，缺失则快速失败。\n\n请求契约：POST multipart 表单，查询参数 return_txt=true；表单字段 file（必填）、provider/model（可选）；请求头 Authorization: Bearer $UNSTRUCTURED_AUTH_TOKEN。\n\n限制：仅接受上述明确列出的文件扩展名，其他扩展名在请求前被拒绝；401/403 报鉴权问题，4xx/5xx 输出状态与错误体，响应缺文本时按 schema 不匹配报错。收费、价格、平台可用性等信息暂未提供。
document-granular-decompose
办公与效率
更新于 10-16 01:06