Vector Search Designer

用途

Vector Search Designer 是一个用于架构和实现向量相似度检索系统的技能，面向语义搜索、推荐引擎和各类 AI 应用。它引导用户完成向量数据库选型、索引结构设计、查询性能优化，并将系统扩展到百万或十亿级向量规模。向量检索已成为现代 AI 系统的基础设施之一，从 RAG 管线到商品推荐皆有应用。该技能覆盖完整技术栈：理解近似最近邻（ANN）算法、在可选数据库之间做选择、调节召回率与延迟的权衡，以及落地生产可用的检索基础设施。

主要能力

技能提供三个核心工作流：

选择向量数据库：先收集需求（向量规模、查询模式为单条还是批量、是否需要过滤、延迟要求是实时还是批量、更新频率是静态还是动态、基础设施为托管还是自托管），然后对比选项，并用你自己的数据做评估，最后记录决策理由。技能给出了一份对比表，涉及 Pinecone、Weaviate、Qdrant、Milvus、pgvector、Chroma 六个选项，分别列出规模、是否托管、功能特性和最适合场景。
设计索引架构：选择 ANN 算法（HNSW、IVF、PQ、Flat），配置索引参数，并给出可复用的示例配置代码，还涵盖分片策略与元数据 schema 设计。此处保留原始代码：

# HNSW example configuration
hnsw_config = {
    "M": 16,  # Connections per node (higher = better recall, more memory)
    "efConstruction": 200,  # Build-time search depth
    "efSearch": 100,  # Query-time search depth
}

# IVF example configuration
ivf_config = {
    "nlist": 1024,  # Number of clusters
    "nprobe": 32,  # Clusters to search at query time
}

优化搜索性能：先建立基准指标（每秒查询数 QPS、p50/p95/p99 延迟、Recall@k 精度），识别瓶颈（索引加载时间、搜索延迟、过滤计算、网络开销），再应用优化手段（调节索引参数、查询缓存、优化过滤表达式、量化以节省内存），最后验证召回率与延迟的权衡并记录最佳配置。

使用方式

技能以触发式操作提供快速参考，可直接用自然语言发起：

选择数据库："Which vector database for [use case]"
设计索引："Design vector index for [scale]"
优化搜索："Speed up vector search"
添加过滤："Add metadata filters to vector search"
扩展向量："Scale to [N] million vectors"
基准测试："Benchmark vector search performance"

最佳实践

按需选型：不要为自己并不需要的规模过度设计。小于 100 万向量时 pgvector 或 Chroma 通常足够；100 万到 1 亿可选 Qdrant、Weaviate 或 Pinecone；1 亿以上则考虑 Milvus 或经过审慎设计的 Pinecone。
理解召回率与速度的权衡：ANN 本质是近似算法，召回率越高查询越慢，需要根据精度要求调节参数，并且要实际测量召回率而非假设。
必要时使用混合检索：结合向量（语义相似）与关键词（BM25，精确词项、名称、编码）检索，通常能改善混合查询的效果。
为过滤而设计元数据：提前规划过滤策略，为高频过滤字段建立索引，避免在高基数字段上过滤，权衡前置过滤与后置过滤。
尽可能批量操作：批量写入、在可以接受延迟时批量查询、使用异步操作，以减少网络开销。
监控与告警：生产搜索需要可观测性，关注查询延迟分位数、索引大小与内存使用、随时间推移的召回率下降。

高级技巧

技能还介绍了若干进阶方案：

多向量检索：处理文档的多种表示（标题、正文、摘要），用带权重的索引分别检索后合并打分。示例代码中的权重示例为 {"title": 0.3, "content": 0.5, "summary": 0.2}。
过滤向量检索策略：根据过滤条件的选择性选择前置过滤、后置过滤或混合策略。
量化扩展：用乘积量化（PQ）或二值量化降低内存占用，并给出示例配置。
增量索引更新：用主索引加增量索引的结构处理动态数据，达到阈值后重建。

上述高级技巧均以示例代码形式给出，包括 MultiVectorIndex 类、filtered_search 函数、pq_config/binary_config 配置以及 DynamicVectorIndex 类。

适用场景

该技能适合需要构建或优化向量相似度检索的工程与数据团队，尤其是涉及语义搜索、RAG 管线、推荐系统等场景，从原型阶段到生产级大规模部署均可参考。

限制

技能明确列出了常见陷阱：在大规模下使用精确（Flat）检索而非 ANN；不测量实际召回率而假设 ANN 足够好；对元数据字段过度索引导致更新变慢；忽视 HNSW 索引的内存需求；没有为索引重建和维护窗口做规划；假设向量数据库能覆盖所有用例（有时 Elasticsearch 更合适）；做余弦相似度时忘记归一化向量；在同一索引中混用来自不同模型的嵌入向量。至于该技能是否需要付费、支持的具体平台版本或性能基准数字，资料中暂未提供。