SuperAPI AI 工具集

embedding-comparison

通用与其它

查看项目

更新于 10-16 01:16

技能介绍

用途:在自有数据上评估并比较不同嵌入模型,避免直接沿用默认模型 all-MiniLM-L6-v2 而忽略领域词汇、文档长度、查询风格、速度与内存等差异。

主要能力:列出通用模型(all-MiniLM-L6-v2、all-MiniLM-L12-v2、all-mpnet-base-v2)、专用模型(multi-qa-MiniLM-L6-cos-v1、msmarco-MiniLM-L6-cos-v5、paraphrase-MiniLM-L6-v2)及代码检索模型(krlvi/sentence-t5-base-nlpl-code_search_net、flax-sentence-embeddings/st-codesearch-distilroberta-base),并给出维度、速度、质量与体积参考。提供测试数据集创建、基准脚本、Precision@k、Recall@k、MRR 计算,以及加载与编码耗时统计。

使用方式:先构造 documents、queries、relevance 的测试集,可参考从 Qdrant 集合抽样;再运行基准脚本比较候选模型并输出结果表;选定后设置环境变量 export EMBEDDING_MODEL=all-mpnet-base-v2,执行 python scripts/reembed_collections.py 与 python scripts/rebuild_router.py 重建向量。

限制:不同模型向量维度不同,不能在同一集合混用;切换模型必须重新嵌入全部数据。资料未提供具体安装命令、依赖版本、收费与平台信息。