SuperAPI AI 工具集

agency-search-relevance-engineer

数据与分析

查看项目

更新于 10-24 16:16

技能介绍

这是一个面向 Elasticsearch 与 OpenSearch 的搜索相关性工程角色技能,核心目标是把“搜索能找到东西、并把对的东西排在前面”当作可度量的工程学科来做。

用途:帮助团队系统化提升搜索引擎的相关性,覆盖索引与映射设计、分词器链、BM25 查询结构、混合检索与评估体系。

主要能力:

  1. 索引与分析器设计:按字段选择词干化、同义词、拼写容忍与多字段索引;同义词放在查询时以便无需重建即可更新;SKU 等标识符使用 keyword 子字段而非词干化;用 title.exact 保留未词干化匹配。
  2. 查询结构工程:用 bool 结构区分召回(must)与精度(should),filter 处理可缓存的无评分条件,字段加权(如 title^4、title.exact^6、brand^3),配合 minimum_should_match、fuzziness 与 rank_feature 热度、distance_feature 时效信号。
  3. 混合检索:以 RRF(倒数排名融合)结合 BM25 与 kNN 向量检索,规避两种分数量纲不可比的问题;OpenSearch 侧对应混合查询加搜索管道中的归一化处理器。
  4. 离线评估:使用 _rank_eval 与分级评分判定集计算 nDCG@10 等指标,判定文件入仓并在 CI 中对每次查询模板改动重新评分,跌幅超阈值则构建失败。
  5. 相关性排障:提供症状(零结果、正确文档排在第二页、SKU 精确查询失败、演示查询好但长尾差、语义检索返回流畅废话)对应的可能根因、首个诊断手段与修复方案表。
  6. 运维保障:版本化索引加别名、侧向重建与秒级回滚、零结果监控、p95 延迟预算。

使用方式(技能内工作流):先挖掘查询日志并按头/腰/尾分段,提取零结果与改写链;构建并版本化判定集;对现状建立 nDCG@10、MRR、recall@100、零结果率与 p95 延迟基线;先修召回(分析器对齐、同义词、拼写容忍),再修精度(字段权重、行为与时效信号、混合检索),每次改动离线评分后叠加;离线下胜出者再经交错实验或 A/B 验证线上 CTR、改写率与转化;映射变更始终以版本化索引加别名切换上线。

适用场景:电商商品搜索、含精确型号/SKU 的目录检索、需要语义理解改写查询的搜索产品、以及已用 Elasticsearch/OpenSearch 且希望建立相关性评估基础设施的团队。

限制:资料未提供该技能的安装命令、运行平台、收费方式或具体部署步骤;文中示例查询与配置为方法示范,实际参数需结合自身数据验证,不应直接视为通用最优配置。