用途:上下文工程是管理大语言模型有限注意力预算的实践。本技能用于在长时间工作中保持指令、证据与状态可用,适用于指令丢失、证据遗漏或大型多智能体上下文场景。
主要能力与概念:上下文窗口受注意力机制约束,而不仅是 token 容量;大上下文上限不保证每项内容被同等使用。资料列出五类退化模式:迷失中间(长上下文中部信息注意力权重较低,缓解方式为显式分节、把关键约束放在开头和结尾)、上下文污染(错误信息进入上下文导致错误累积,需验证中间输出)、上下文干扰(无关信息分散注意力,需精选内容)、上下文混淆(多任务或冲突指令导致歧义,尽量一次一个任务)、上下文冲突(多来源矛盾信息,需先显式解决矛盾)。
使用方式:先测量再压缩,不要用固定 token 阈值判断上下文是否可靠,应在自己的模型和任务上测量检索与推理质量,测试代表性证据在多个位置的表现,并比较摘要前后结果;仅在测量结果或智能体行为显示问题时才压缩,保留精确约束、决策、来源链接、未解决问题与验证证据。缓解策略包括:外部写入(经用户同意后,把进度写入约定的临时文件,例如被 gitignore 的 PROGRESS.md 或用户选择的路径,开始前读回该文件恢复上下文);谨慎选择(过滤无关上下文,例如只提供涉及错误的 3 个文件而非全部 50 个);策略性压缩(保留信号,例如只保留关键函数及其签名与相关区域上下文);隔离上下文(复杂任务使用聚焦上下文的子智能体)。
退化迹象:忽略早前指令(迷失中间或上下文过长)、自相矛盾(混淆或冲突)、重复已给信息(注意力未到达)、遗漏明显细节(干扰)、逐渐变差(错误污染)。
限制:资料未提供具体安装命令、平台支持、收费或价格信息;引用包括 Lost in the Middle(Liu 等,2023)、Needle in a Haystack 基准与 RULER 基准。