SuperAPI AI 工具集

podium-rag-context-bridge

智能体与模型

查看项目

更新于 10-16 07:07

技能介绍

用途

Podium RAG Context Bridge 用于把 Podium 的实时通话转录片段或网页聊天轮次,转换为一个结构化的 RAG 上下文包,供调用方 LLM 直接嵌入提示词。它不是聊天机器人,而是位于 Podium 转录流与 LLM 智能体循环之间的底层组件,负责快速获取正确的历史上下文,并以模型可消费的形态输出。

该桥接器组合两个检索面:一是历史 Podium 对话的向量库(由 podium-conversation-history-export 在入库时嵌入),二是 Podium 实时 API 查询,用于获取联系人的最新状态(电话、退订、位置、最后出现时间)。向量面回答“这个人过去就这个话题说过什么”,实时 API 回答“我们即将拨打的号码是否仍是其当前号码”。

主要能力

该技能针对六类生产故障提供防护:

  1. 相关性评分选错历史上下文:朴素余弦相似度 top-K 常返回无关模板文本。通过交叉编码器重排序与按联系人过滤,在模型看到内容之前净化结果。
  2. 向量库与实时 Podium 数据漂移:联系人昨天更新了电话,向量库仍嵌入旧号码。向量召回与实时状态具有不同 SLA,合并时实时状态在任何可变字段上优先。
  3. 转录分块边界丢失上下文:转录器每 800ms 发出分块,边界可能切断关键信息。通过滑动窗口重叠(默认将前一分块尾部 200ms 前置到嵌入查询)与分块合并解决。
  4. LLM 令牌预算溢出:检索上下文加系统提示加转录历史可能超出模型窗口。通过每个检索面硬性令牌预算(默认 1500 令牌上下文,超出则摘要)解决。
  5. PII 以原始形式到达 LLM:检索到的历史上下文可能仍含信用卡号、完整地址、出生日期等。通过检索时脱敏过滤器作为最后防线解决。
  6. 上下文发射延迟超过通话时长:向量库 p99 600ms、重排序器 p99 400ms、Podium 查询 p99 300ms,串行超过一秒。通过并行扇出与硬性 800ms 墙钟超时解决,返回已完成部分并标记 partial: true。

使用方式

前置条件:Python 3.10+;已填充的 Podium 历史对话向量库(推荐用 podium-conversation-history-export 引导,嵌入每个分块并写入 pgvector 表);可用的 podium-auth 实例用于实时联系人查询;请求时可用的嵌入模型(默认 BAAI/bge-large-en-v1.5 本地免费,或 OpenAI text-embedding-3-small 托管);交叉编码器重排序器(默认 BAAI/bge-reranker-base 本地免费,也支持 LLM 作为重排序器但增加延迟与成本);若使用默认后端需 pgvector ≥ 0.5,Pinecone / Weaviate 适配器有文档但非参考路径。

构建顺序:

  1. 滑动窗口分块合并:在分块进入嵌入模型前,前置前一分块尾部与后一分块头部,使嵌入查询看到完整子句。
  2. 向量查询与交叉编码器重排序:从向量库拉取 top-20,重排序到 top-5 返回。contact_uid 过滤是关键,已知通话对象时预过滤到该联系人历史,更快且更相关。
  3. 实时 Podium 获取并与向量结果合并:向量库是快照,联系人的电话、退订标志、最后出现时间等实时状态随时可变。合并规则不对称——向量结果绝不覆盖实时字段,即使重排序分数很高。
  4. PII 脱敏过滤器:入库本应脱敏但可能遗漏,检索时过滤器是最后防线,不信任语料库。在合并实时字段之后、到达 LLM 发射路径之前应用。实时联系人字段不脱敏,它们是 LLM 撰写答案所需的输入。
  5. 令牌预算执行:按重排序分数排序,丢弃最低分摘录直到低于预算;若丢弃到只剩一条仍超预算,则硬截断并标记 truncated。max_tokens 仅针对历史摘录面,实时联系人块、系统提示与实时转录历史由调用方智能体循环分配。
  6. 硬超时与并行扇出:桥接器必须在延迟预算内返回。若重排序慢,则发送未重排序摘录,LLM 基于原始向量命中,降级但及时。partial: true 标志告知模型基于不完整上下文。截止时间是契约,持续 partial: true 率超过 5% 应视为告警事件。

适用场景

适用于需要将 Podium 实时通话转录或网页聊天轮次与历史对话上下文结合、并注入 LLM 提示词的生产环境。典型场景包括客服智能体、销售通话辅助、实时对话增强等。

限制

需要已填充的 Podium 对话向量库与可用的 podium-auth 实例;默认后端为 pgvector,其他适配器非参考路径;嵌入模型与重排序器需在请求时可用;实时联系人字段不脱敏,由模型负责不向客户回显其自身敏感信息;硬超时可能导致返回不完整上下文(partial: true)。具体收费、价格、平台支持范围等事实暂未提供。