SuperAPI AI 工具集

deepimagesearch-benchmarking-multimodal-agents

设计与创作

查看项目

更新于 10-16 01:34

技能介绍

用途:该技能教授 Claude 构建超越单查询语义匹配的图像检索系统,将检索重构为自主探索任务:智能体规划搜索轨迹、协调细粒度感知工具,并串联分散在图像时序中的线索。核心观点是目标相关性常依赖集合中的其他图像(P(R|Q,C)),需要语料级上下文推理、模块化智能体框架与双记忆架构。适用:跨多个事件、需上下文线索的相册搜索;跨图像时序推理;查询在缺乏元数据/时间戳/地点/重复实体交叉参照时有歧义;长时程视觉导航中带记忆管理的模块化工具型智能体;构造上下文相关检索的多模态评测;为相册构建连接人、地点、事件与视觉线索的记忆图。

主要能力:提出智能体式检索替代传统嵌入检索,后者在上下文相关查询上存在约 10-14% Recall@3 的天花板。框架提供五类可调用工具:ImageSearch(多模态相似搜索,支持文本/图像/交错查询与限定子集)、GetMetadata(时间戳、地址、相册信息)、FilterMetadata(元数据布尔表达式、日期区间、地点别名归一化)、ViewPhotos(将图像注入上下文,单批最多 20 张)、WebSearch(外部实体消解)。双记忆系统:显式状态记忆以命名子集字典(subset_name -> 照片 ID)支持 filter->save->search_within->filter 链式操作;接近 token 上限时触发压缩上下文记忆,生成会话记忆(高层目标与关键发现)与工作记忆(当前子目标与下一步计划)。记忆图用异构图 G=(V,E) 表示 Photo、Photoset、VisualClue、Person 节点及结构边与关联边,通过均衡随机游走采样子图合成查询。

使用方式(工作流):先将查询分解为 Episode、Episode Breakdown、Target 三部分;用视觉语言嵌入模型(如 CLIP、SigLIP、Qwen-VL-Embedding)索引语料并存储元数据;实现上述五个核心工具;初始用 ImageSearch 拉取候选(top-50 至 top-200)并存为命名子集;再迭代用 FilterMetadata 与 ViewPhotos 收窄与目视核验;跨事件查询时用候选图作为视觉查询做图搜图,并核验唯一标识或共享元数据;接近上下文窗口(如 128K token)时生成压缩摘要替换历史;最终汇总去重并附推理轨迹与子集链;用 Exact Match 与 F1 评估,可运行 N 个并行实例报告 Best@k。

限制:高度依赖丰富元数据,缺元数据时退化为嵌入检索并受其天花板限制;计算成本随推理深度增长,实时应用宜缓存关联图;人脸聚类脆弱,跨事件人物重识别会因外观变化产生重复节点;最佳模型 Exact Match 仅约 29%,跨事件多步查询常只找到部分目标;上下文压缩会丢失早期细粒度视觉观察,关键发现应显式保存到命名子集。论文参考 DeepImageSearch(Deng 等,2026),第 3 节评测构建与记忆图,第 4 节 ImageSeeker 框架与双记忆,表 1 模型对比,表 3 工具消融。官方文档与安装命令暂未提供。