用途:SAM 适用于无需任务特定训练即可对任意图像对象做分割的场景,如交互式标注工具、为其他视觉模型生成训练数据、零样本迁移到新图像域,以及目标检测/分割流水线、医学与卫星等特定领域图像处理。
主要能力:支持点(前景/背景)、边界框、上一轮掩码作为提示;可自动生成全部对象掩码;训练自 1100 万张图像的 11 亿个掩码;提供 ViT-B(最快,375MB)、ViT-L(1.2GB)、ViT-H(最准,2.4GB)三种规模;支持 ONNX 导出用于浏览器和边缘设备部署。
使用方式:安装可用 pip install git+https://github.com/facebookresearch/segment-anything.git,可选依赖 pip install opencv-python pycocotools matplotlib,或使用 HuggingFace transformers。需先下载对应 checkpoint(如 sam_vit_h_4b8939.pth)。基本用法是创建 SamPredictor、set_image 计算一次图像嵌入,再 predict 传入点坐标与标签(1 为前景、0 为背景)或边界框;自动分割使用 SamAutomaticMaskGenerator。输出掩码可包含 segmentation、bbox、area、predicted_iou、stability_score 等字段,也可用 pycocotools 编码为 COCO RLE。
适用场景与限制:适合交互式分割与数据标注;若需带类别的实时检测可考虑 YOLO/Detectron2,语义/全景分割可用 Mask2Former,文本提示分割可结合 GroundingDINO,视频分割可用 SAM 2。资源不足时可选 ViT-B、半精度或降低 points_per_side;掩码质量不佳时可增加提示或组合框与点,并利用稳定性分数过滤。具体收费、价格与效果数据暂未提供。