用途:在把文本上下文交给语言模型前,将其压缩至指定 token 预算,尽量保留任务相关的关键信息,如决策、证据、约束与未决问题。上下文已能放入窗口时可跳过压缩。
主要能力:提供多种压缩策略——抽取式摘要(保留原句措辞,适合法律、医疗、代码等需要精确的场景)、生成式摘要(改写更短,需配合校验)、要点抽取(只保留实体、事实与数据,压缩率常超 90%)、选择性剪枝(删除样板、问候语与重复内容),以及跨多来源动态分配 token 预算。
使用方式:提供原始上下文文本与目标 token 预算,返回符合预算的压缩版本;可选指定压缩策略(extractive、abstractive、key-points 或 auto),以及必须保留的关键词或实体列表。
适用场景:问答任务前的文档压缩、长对话历史压缩(保留最近 2–3 轮原文,较早轮次做摘要)、RAG 检索片段按相关度分配预算等。
限制与注意:压缩可能丢失信息,应逐步进行——先轻度剪枝并测量,仍超预算再加重手段。数字、专有名词、日期与代码标识符应优先保留;代码宜用抽取式而非生成式摘要。压缩结果应标注为已摘要,让模型据此调整置信度。表格、JSON、代码块不宜用生成式方法。多语言内容建议分段独立压缩。安全警告、法律声明、医疗剂量等信息不得压缩。若仅超出预算 10–15%,优先做空白、重复句与样板头的简单剪枝。
其他信息(如具体模型或平台支持情况)暂未提供。