SuperAPI AI 工具集

DAVIS

DAVIS(Densely Annotated VIdeo Segmentation,密集标注视频目标分割)是视频目标分割(VOS)任务中最重要的数据集之一,主要用于对视频目标分割领域最先进方法进行深入分析。该数据集提供半监督与无监督两种设定:半监督设定在视频首帧提供目标分割掩码,无监督设定不提供任何人工输入;两者的区别在于测试阶段的人工交互程度,而非训练阶段。DAVIS 2016 中每个视频序列标注单个实例,DAVIS 2017 半监督与无监督设定中每个视频序列标注多个实例。项目方已发布 2016、2017、2018、2019 多份挑战赛论文,并提供基准评测、当前最优方法的可视化与结果,以及图像、标注、预计算结果的下载与评测复现代码。该独立 DAVIS 计划目前处于维护模式,不再举办挑战赛、也不再更新本页排行榜,既有结果已整合进 paperswithcode,评测服务器继续在 Codalab 运行。社区还在 DAVIS 2016 和 DAVIS 2017 上贡献了指称表达标注、人类眼动注视数据以及 DAVIS 2016 中 29 个视频的目标阴影标注。

访问官网

工具介绍

DAVIS(Densely Annotated VIdeo Segmentation,密集标注视频目标分割)是视频目标分割(VOS)任务中最重要的数据集之一,其宗旨是对视频目标分割领域的最先进方法进行深入分析。

用途 DAVIS 面向视频目标分割任务,提供密集标注的视频数据与配套的评测方法,用于训练和评估视频中目标的分割模型。

设定与版本 DAVIS 的评测分为半监督与无监督两类,这里的“半监督”和“无监督”指测试阶段的人工交互程度,而不是训练阶段。半监督(更准确地说是人类引导)在首帧提供感兴趣目标的分割掩码;无监督(更准确地说是不由人类引导)不提供任何人工输入。 版本方面:DAVIS 2016 中每个视频序列标注单个实例;DAVIS 2017 半监督设定中每个视频序列标注多个实例;DAVIS 2017 无监督设定中每个视频序列同样标注多个实例。

主要能力 DAVIS 提供密集标注数据、基准评测与当前最优方法的结果展示。网站可展示使用其工作中提出的三种度量对当前最优分割技术的评测;支持在浏览器中可视化所有当前最优技术在全部 DAVIS 2016 图像上的分割结果;并可供下载 DAVIS 图像与标注、所有技术的预计算结果,以及复现评测的代码。

相关论文 2019 年 DAVIS 视频目标分割挑战赛:无监督多目标分割(S. Caelles、J. Pont-Tuset、F. Perazzi、A. Montes、K.-K. Maninis、L. Van Gool,arXiv:1905.00737,2019)。 2018 年 DAVIS 视频目标分割挑战赛(S. Caelles、A. Montes、K.-K. Maninis、Y. Chen、L. Van Gool、F. Perazzi、J. Pont-Tuset,arXiv:1803.00557,2018)。 2017 年 DAVIS 视频目标分割挑战赛(J. Pont-Tuset、F. Perazzi、S. Caelles、P. Arbeláez、A. Sorkine-Hornung、L. Van Gool,arXiv:1704.00675,2017)。 视频目标分割的基准数据集与评测方法(F. Perazzi、J. Pont-Tuset、B. McWilliams、L. Van Gool、M. Gross、A. Sorkine-Hornung,CVPR 2016)。

社区贡献 社区在 DAVIS 数据集上进行了扩展: — DAVIS 2016 和 DAVIS 2017 的指称表达标注:包含 DAVIS 2016 与 DAVIS 2017 中给定首帧时由两位标注者给出的指称表达;此外还包含 DAVIS 2017 中给定整个视频时由两位标注者给出的指称表达。相关论文为 A. Khoreva、A. Rohrbach、B. Schiele 的《Video Object Segmentation with Language Referring Expressions》(ACCV 2018)。 — DAVIS 2016 的人类眼动注视数据:由二十名参与者使用专业设备采集,覆盖 DAVIS 2016 训练集与验证集的所有帧。相关论文为 W. Wang、H. Song、S. Zhao、J. Shen、S. Zhao、S.C.H. Hoi、H. Ling 的《Learning Unsupervised Video Object Segmentation through Visual Attention》(CVPR 2019)。 — DAVIS 2016 的阴影标注:包含 DAVIS 2016 中 29 个视频的目标阴影标注。相关论文为 J. Huang、S. B. Kang、N. Ahuja、J. Kopf 的《Temporally Coherent Completion of Dynamic Video》(ACM 2016)。

运行状态 独立的 DAVIS 计划目前处于维护模式:不再举办任何 DAVIS 挑战赛,也不再更新本页的基准排行榜。既有结果已整合进 paperswithcode,用户可在其对应任务页面(半监督、交互式、无监督)录入最新论文的结果。评测服务器将继续在 Codalab 运行。项目方感谢社区参与挑战赛,并鼓励大家继续将数据集用于视频目标分割或其他任务。

限制 除上述已提供内容外,关于该数据集的具体规模、图像分辨率、许可协议、收费方式与价格、平台支持情况等事实,资料中暂未提供。