AutoFigure-Edit 是 AutoFigure 的升级版本，用于从论文方法章节文本生成可编辑的科学插图。它能够将原始生成结果转化为完全可编辑的 SVG 矢量图，并允许用户在嵌入式 SVG 编辑器中进行细化调整。项目已在 ICLR 2026 被接收，论文可在 arXiv 获取，并曾在 Hugging Face Daily Papers 展示。在线平台 deepscientist.cc 已上线，对所有学者免费开放。
主要能力与工作流程： AutoFigure-Edit 的流水线从论文方法文本出发，分四个阶段将内容转化为可编辑 SVG。
- 生成（figure.png）：LLM 根据方法文本生成栅格草稿图。
- 分割（sam.png）：使用 SAM3 检测并分割不同的图标和文本区域。
- 模板化（template.svg）：系统利用占位符构建结构化的 SVG 线框。
- 组装（final.svg）：将高质量裁剪的图标与矢量化文本注入模板，生成最终 SVG。
具体而言，系统先调用文生图 LLM 渲染期刊风格示意图并保存为 figure.png；随后用 SAM3 按一个或多个文本提示（如“icon, diagram, arrow”）进行分割，通过类似 IoU 的阈值合并重叠检测，生成带灰色填充、黑色轮廓的标注框，输出 samed.png 和包含坐标、分数、提示来源的 boxlib.json。接着从原图中裁剪每个框，经 RMBG-2.0 去背景，得到透明图标资产。LLM 结合 figure.png、samed.png 与 boxlib.json 生成占位符式 SVG 模板。可选地，由 LLM 优化器迭代优化 SVG 对齐、布局与样式，再比较 SVG 尺寸与原图计算缩放因子并对齐坐标系，最后将占位符替换为对应透明图标，组装出 final.svg。
此外，AutoFigure-Edit 支持两项突破性能力：完全可编辑 SVG（纯代码实现，文本、形状、布局均可无损修改）和风格迁移（系统可模仿用户提供的参考图片的艺术风格）。
使用方式： 项目提供两种部署方式。
Option 0：Docker 部署（推荐）。使用 Docker 可复现的一键环境，无需本地安装 Python/SAM3。需要 Docker Desktop（含 Docker Compose v2）、主机 8000 端口可用，以及 HuggingFace 对 briaai/RMBG-2.0 的访问权限。至少需在 .env 中设置相关变量，可选配置网络受限时的构建镜像。运行后访问 http://localhost:8000，健康检查返回 {"status":"ok"}。输出持久化在 ./outputs 和 ./uploads，HuggingFace 缓存在 Docker volume hf_cache。
Option 2：Web 界面。配置页面左侧粘贴论文方法文本，右侧设置生成参数，包括 Provider（Bianxie AI、OpenRouter、Custom、Gemini 或 OpenAI Responses）、Image Provider（可选，仅覆盖第一步使用 OpenAI GPT-Image）、Optimize（SVG 模板细化迭代次数，标准使用推荐 0）、Image Size（当第一步图像提供者为 Gemini 时可选 1K/2K/4K）、Auto Upscale（默认启用，将 figure.png 长边提升至 4K 即 3840px 并保持比例）、Reference Image（上传目标图以启用风格迁移）、SAM3 Backend（本地 SAM3 或 fal.ai API，API key 可选）。若已有第一阶段栅格图，可通过右上角按钮“I already have the stage-1 figure”进入导入页，上传已有学术插图并直接从 SAM+SVG 重建继续。生成结果会加载到集成的 SVG-Edit 画布中，支持完整矢量编辑。界面还提供状态与日志、Artifacts 抽屉（含中间产物，可拖放至画布）、History（浏览 outputs/ 中的历史运行并重新打开）。
SAM3 安装说明： AutoFigure-Edit 依赖 SAM3 但不内置。请遵循官方 SAM3 安装指南，上游仓库目标为 Python 3.12+、PyTorch 2.7+、CUDA 12.6（GPU 构建）。SAM3 检查点托管在 Hugging Face，可能需要申请访问并认证（如 huggingface-cli login）后才能下载。若不想本地安装，可使用 API 后端（Web 演示也支持），推荐 Roboflow（免费）。也可选择 fal.ai。
配置： 支持的 LLM 提供者包括 openrouter、bianxie、custom、gemini、openai_response。常用 CLI 参数有 --method_text、--method_file、--input_figure_path、--provider、--image_provider、--image_api_key、--image_base_url、--image_model、--svg_model、--image_size、--disable_auto_upscale、--sam_prompt、--sam_backend、--sam_api_key、--sam_max_masks、--merge_threshold、--optimize_iterations、--reference_image_path。
Custom Provider 支持自托管或第三方 OpenAI 兼容端点，使用 --provider custom、--base_url（需为 /v1 根路径）、--image_model、--svg_model，也可设 AUTOFIGURE_CUSTOM_BASE_URL。文本与 SVG 重建走 OpenAI 兼容 chat 形状，多模态 SVG 重建需支持 image_url data URI，返回标准 content 形状，SVG 可裸或包在 markdown 代码块中。内置 bianxie 路由同样使用 OpenAI 兼容 chat 形状，第一步图像生成走 OpenAI Images 兼容路径。
OpenAI GPT-Image 用于第一步：截至 2026 年 4 月 23 日，OpenAI 官方 Images API 支持 images.generate 和 images.edit。--image_provider openai 仅第一步使用 Images API，无参考图用 generate，有参考图用 edit，默认模型 gpt-image-2。默认第一步后会将图放大到长边 3840px。
OpenAI Responses Provider：--provider openai_response 表示文本调用使用 client.responses.create(...)，多模态 SVG 重建也使用该接口，第一步图像生成回退到官方 Images API，默认 SVG 模型 gpt-5.5。
适用场景与限制： AutoFigure-Edit 面向科研人员，尤其适合需要将论文方法部分快速转化为可编辑矢量插图、并希望进行风格迁移的用户。可免费在线使用，也可本地/Docker 部署。限制方面，资料未提供详细的性能指标或对生成质量的具体保证；SAM3 需单独安装且可能需要 Hugging Face 认证；部分模型和 API 路由需要用户自行配置密钥或兼容端点。
