用途:该技能聚焦“上下文工程”,即在 LLM 推理过程中筛选与维护最优 token 集合。它区别于提示词工程,关注哪些信息进入上下文窗口以及何时进入,适用于构建处理长对话、多步任务和工具调用的智能体。
主要能力:
- 上下文裁剪:用滑动窗口保留系统消息与最近 N 轮对话,确定性强、零延迟,但会丢失长程上下文。
- 上下文摘要:由 LLM 将较早消息压缩为结构化摘要,保留长程记忆,但存在摘要偏差、额外延迟与误差累积风险。
- 混合方案:结合裁剪与摘要,保留最近若干轮原文,超过阈值时对旧消息做摘要。
- 会话记忆:把可复用事实、偏好与任务状态存到上下文之外,按需加载相关片段。
- 长任务模式:压缩(compaction)、结构化笔记、子智能体架构,让子智能体在干净上下文中工作并只回传精简结果。
- 工具设计:即时加载上下文,工具应自包含、范围单一、描述清晰、错误信息不污染上下文。
- 系统提示设计:语言直接、按用途分节、最小但完整、指令自包含。
使用方式:资料给出 Python 示例,如 trim_context、summarize_context、HybridContextManager、SessionMemory 等类与函数,以及用 tiktoken 估算 token 的 estimate_tokens_accurate。核心思路是接近上下文上限(如 80%)时触发压缩,保留最近消息并维护滚动摘要。
适用场景:长对话智能体、多步复杂任务、工具调用密集的智能体、需要个性化与长期工作流的项目。
限制:资料未提供具体安装命令、依赖版本、收费或平台信息;示例为示意性代码,需结合具体模型与框架调整。摘要可能引入偏差,外部记忆需要检索、时效与删除策略。