SuperAPI AI 工具集

sam3

通用与其它

查看项目

更新于 10-16 08:40

技能介绍

用途:围绕 Meta SAM 3(facebookresearch/sam3)完成构建、集成、微调与评测,提供可复现命令并降低环境配置成本,支持开放词汇的图像与视频分割,提示形式包括文本、点、框和掩码。

主要能力:按用户意图分流——首次安装并运行推理、将 SAM 3 接入现有 Python 应用、在配置前做环境预检、在自定义数据上微调、运行 SA-Co 基准或评测自定义预测、排查运行时故障。

使用方式:先确认目标与模态(图像推理、视频推理、微调或基准评测),确认 CUDA 与显存预算,以及是否已获批访问 Hugging Face 的 facebook/sam3。环境搭建示例:conda create -n sam3 python=3.12 -y;conda activate sam3;pip install torch==2.7.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126;git clone https://github.com/facebookresearch/sam3.git;cd sam3;pip install -e .。首次加载模型前执行 hf auth login,可选运行 python scripts/sam3_preflight_check.py --strict。冒烟测试可用 python scripts/create_inference_starter.py --mode image --output ./sam3_smoke.py 生成脚本后修改占位符并在 SAM3 检出目录运行。图像与视频推理参考 references/setup-and-inference.md 中的 Sam3Processor 与 build_sam3_video_predictor 模式;微调参考 references/training-and-eval.md 并从 sam3/train/configs 的配置起步;基准评测参考同一文档及 scripts/eval/gold、scripts/eval/silver、scripts/eval/veval 的上游数据集说明。

限制与注意:不要假设已获得检查点访问权限,需先验证登录与许可;优先使用官方 sam3.model_builder 与 predictor API,避免自行重实现;生成脚本应保持可编辑,避免机器相关的绝对路径;在 CPU 上运行需先说明性能限制。输出需报告实际命令、配置覆盖、检查点来源与认证假设,推理结果需附提示文本、帧索引与置信度阈值。具体模型权重、收费与平台支持等资料暂未提供。