用途:上下文工程关注如何刻意设计上下文窗口的信息架构,决定哪些信息进入上下文以及它们的顺序,从而提升模型输出质量。
主要能力与要点:
- 上下文预算分配:系统提示通常占预算的5%至20%,其余空间在检索上下文、对话历史、用户输入与模型生成空间之间竞争。检索内容越多,留给对话历史的空间越少。
- 信息架构中的顺序:上下文开头与结尾通常获得较高注意力,中间位置在长上下文中容易被忽略;紧邻用户问题的信息比靠前的信息更受关注。
- 上下文选择标准:按相关性、时效性、具体性、冗余度和权威性筛选信息,避免将无关或重复内容放入上下文。
- 常见策略:检索增强生成(RAG)动态拉入相关文档、用摘要压缩较早上下文、保留重要且较新的对话轮次、用清晰标题和分节组织结构化上下文、对高频使用的上下文块做上下文缓存。
- 质量信号:观察输出相关性、幻觉率、上下文利用率以及相同上下文下输出的一致性,判断上下文工程是否有效。
设计产物:可产出上下文预算分配文档、上下文窗口信息架构图、各功能的上下文选择标准、检索策略规范与上下文质量监控指标。
限制:资料未提供具体代码、安装命令、平台支持、收费方式或使用步骤,暂未提供相关细节。