用途:SAM(Segment Anything Model)用于零样本图像分割。资料指出,当需要在未做任务特定训练的情况下分割图像中的任意对象、构建点/框提示的交互式标注工具、为其他视觉模型生成训练数据、迁移到新图像领域,或构建目标检测/分割流程时,可考虑使用它,也适用于医学、卫星等特定领域图像。
主要能力:零样本分割,无需微调即可用于任意图像领域;提示方式灵活,支持点、边界框或已有掩码;可自动生成所有对象掩码;模型基于 1100 万张图像的 11 亿个掩码训练;提供 ViT-B(最快)、ViT-L、ViT-H(最准)三种规模;支持 ONNX 导出,用于浏览器和边缘设备部署。输出掩码包含 segmentation、bbox、area、predicted_iou、stability_score 等字段,也可编码为 COCO RLE 格式。
使用方式:可通过 pip install git+https://github.com/facebookresearch/segment-anything.git 安装,或使用 HuggingFace transformers。需下载对应 checkpoint,如 ViT-H 为 sam_vit_h_4b8939.pth(2.4GB)、ViT-L 为 sam_vit_l_0b3195.pth(1.2GB)、ViT-B 为 sam_vit_b_01ec64.pth(375MB)。基本流程为加载模型、用 SamPredictor 对图像计算一次嵌入,再传入点、框或掩码提示获得掩码与分数;自动分割使用 SamAutomaticMaskGenerator,可调 points_per_side、pred_iou_thresh、stability_score_thresh、crop_n_layers 等参数;也可导出 ONNX 并用 onnxruntime 推理。
适用场景:交互式标注、对象提取(含透明背景输出)、医学图像分割、多提示批处理、自动掩码生成等。
限制:资料建议若需带类别的实时目标检测,用 YOLO/Detectron2;语义/全景分割用 Mask2Former;文本提示分割用 GroundingDINO + SAM;视频分割用 SAM 2。常见问题包括显存不足(改用 ViT-B、缩小图像)、推理慢(改用 ViT-B、减少 points_per_side)、掩码质量差(调整提示、框加点)、边缘伪影(用 stability_score 过滤)、小物体遗漏(提高 points_per_side)。具体价格与收费方式资料未提供。