SuperAPI AI 工具集

sam3-api

编程与开发

查看项目

更新于 10-16 00:04

技能介绍

用途:面向 Facebook Research 的 SAM3(Segment Anything Model 3)统一可提示分割基础模型,提供图像与视频分割的 API 使用模式。

主要能力:支持文本提示(开放词汇,如 person、red car)、几何提示(带正负标签的边界框)、点提示(SAM1 风格 predict_inst)、视频跟踪,以及 DataPoint 批量推理。

使用方式:安装需 conda 创建 python=3.12 环境,pip install torch==2.7.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126,克隆 https://github.com/facebookresearch/sam3.git 后 pip install -e .,并执行 huggingface-cli login 下载权重。图像模型用 build_sam3_image_model() 构建,点提示需 enable_inst_interactivity=True,再以 Sam3Processor 设置图像与提示;视频用 build_sam3_video_predictor 或 build_sam3_video_model。批量 API 通过 Datapoint、FindQueryLoaded、InferenceMetadata 与 ComposeAPI 变换(RandomResizeAPI、ToTensorAPI、NormalizeAPI)处理,后处理用 PostProcessImage 还原到原图尺寸。

适用场景:图像开放词汇分割、交互式点选细化、多框正负提示、多图批量推理与视频目标跟踪。

限制:需 GPU 与 HuggingFace 登录;框提示在处理器中为归一化 cxcywh,在 DataPoint 中为像素 xyxy;单图与批量状态的宽高键名不同(original_width 与 original_widths);资料未提供收费、价格与效果数据。