用途:在数据集、文档或资源目录上构建多阶段搜索系统,把发现过程拆成意图解释、高召回混合检索、LLM重排三个阶段,让召回阶段追求覆盖率、精排阶段追求准确性,从而缓解抽象研究目标与具体元数据字段之间的语义鸿沟。
主要能力:一,意图分类,把查询分为A类(提到变量、平台或数据集名)与B类(表达抽象研究目标);B类查询由LLM改写为面向数据的检索式,并抽取时间范围、空间范围、所需变量等结构化约束,资料称不做改写时基于任务的查询会使检索效果下降10%至20%。二,缩写扩展,在索引阶段为元数据中的缩写补全全称,资料称该步骤使关键词查询的BM25 recall@10提升140%。三,混合召回,用BM25词法检索与句向量语义检索并行取回候选,经倒数排名融合(RRF,k=60)合并。四,LLM重排,把原始查询与候选元数据一起交给模型打分排序,建议每个提示批处理10到20条候选。五,评估支持,可从已发表论文中抽取真值数据集引用,用模糊匹配对齐目录条目,计算Recall@K、MRR、MAP。
使用方式:加载元数据目录,扩展缩写后建立BM25索引与FAISS向量索引;查询时先分类意图,宽泛查询做改写,再混合检索并做LLM重排,最后返回带相关性说明的结果。索引与检索可用rank_bm25、sentence-transformers(如all-MiniLM-L6-v2)、faiss等。资料给出FastAPI示例与基于Elasticsearch的增量改造思路,以及评估指标代码。
适用场景:科学数据集发现、文档检索系统增强、需同时支持精确关键词与抽象任务查询的检索管线、从论文抽取真值构建检索评测基准。
限制:缺少具体收费、价格与平台支持信息,暂未提供;具体模型与库的版本、依赖、许可与性能表现除资料所述外暂未提供;是否适用于非科学领域元数据未说明。