diffusion-pretrained-dense-contextual-embeddings

用途：帮助设计并实现高质量检索系统，使用 pplx-embed 嵌入模型族，适用于语义搜索、RAG、文档检索与工具/API 检索。主要能力：扩散预训练的双向编码器骨干；四阶段对比学习（pair、contextual、triplet、SLERP 合并）；INT8 量化感知训练，可选用二值量化；延迟分块在长文档中跨块保留全局上下文；支持 60+ 语言。使用方式：文档按 256 token 分块，上下文变体每篇最多 16 块（4096 token）联合编码后按块均值池化；查询作为单序列编码，无需指令前缀；向量存入 FAISS 等向量库，INT8 用 IndexIVFScalarQuantizer，二值用 IndexBinaryFlat；4B 模型输出 2560 维，0.6B 输出 1024 维。限制：模型面向检索优化，STS/分类任务可能较弱；延迟分块需编码全文，比独立分块慢；有效上下文上限 4096 token，超长文档需滑窗；二值量化在 0.6B 上质量损失较大；4B 需较多 GPU 显存；扩散预训练方法需 250B 多语言语料与大量算力，不易复现。具体模型发布状态、安装命令与 API 细节暂未提供。