用途:把为 AI 模型组装的原始上下文(检索文档、对话历史、工具输出、元数据)精炼成高信号、精简的上下文块,以提升回答质量、降低推理成本并充分利用模型的注意力预算。典型场景是 RAG 或智能体流水线中检索结果含冗余段落、边缘相关片段和排序不佳信息时。
工作流程:一、审计原始上下文,盘点各片段并统计 token 总数,与可用预算对比得出所需压缩比。二、去重,用语义相似度(余弦距离 > 0.92)或精确 n-gram 重叠检测找出近重复段落,只保留最完整版本。三、相关性打分与信息密度打分,两者相乘得到综合效用分;相关性可用检索分或轻量 cross-encoder,密度可按命名实体、代码标识符、数值与关键词相对长度估算。四、过滤低价值内容,以效用分阈值为准,起点可保留得分前 60-70% 的分片,并去除版权声明、导航菜单等模板文字;宜保守,宁可保留边缘相关片段也不要丢关键事实。五、按优先级重排,最高效用分片放开头、次高放结尾,避免把关键信息埋在中部(“迷失在中间”区)。六、验证覆盖度,若查询含多个子问题,确保每个子问题至少有一个分片覆盖;有缺口时把此前被过滤的分片选择性加回。
主要技术:去重、相关性过滤、信息密度打分、基于优先级的排序、针对不同上下文窗口的策略(4K 需激进过滤与压缩,32K 侧重去重与排序,128K+ 侧重排序与密度打分)。
使用方式:输入原始上下文(文本分片列表,可带元数据与分数)、用户查询和目标 token 预算,返回去重、过滤、打分并重排后的优化上下文块,可直接用于提示词组装;可选提供覆盖清单以防重要信息被过滤。资料未提供具体安装命令或代码接口。
适用场景与限制:适用于多文件代码编辑、RAG 问答等上下文组装任务。需注意阈值应按领域在标注评估集上校准;保留来源多样性;8K 以上窗口要考虑迷失在中间效应并针对具体模型测试;记录被过滤的分片以便排查答案不完整的问题;查询变化时需重新优化;全部分片都高度相关时应跳过过滤,只做去重与排序,不要为凑缩减目标强删好内容;极小窗口下优化后可能仍需进一步压缩;源数据频繁更新时需失效并重跑优化。