fiftyone-find-duplicates
该技能用于在 FiftyOne 数据集中查找重复或近似重复的图像,基于 brain 相似度计算实现。适用于数据集去重、查找相似图像等场景。使用前需先设置数据集上下文并启动 FiftyOne App,因为 brain 算子需要 App 执行器。核心流程为:先通过 compute_similarity 计算图像嵌入并生成相似度索引,再用 find_near_duplicates 按阈值查找近似重复项,或使用 find_exact_duplicates 查找完全相同的媒体文件。查找结果会为样本添加 near_dup_id 字段,相同 ID 的样本互为重复。可通过 set_view 在 App 中查看重复项,确认后使用 deduplicate_near_duplicates 或 deduplicate_exact_duplicates 删除重复并保留代表样本。阈值基于距离,越低越相似,0.1 为近乎完全相同,0.3 为推荐默认值。