用途
该技能面向大语言模型(LLM)应用中的上下文窗口管理问题,帮助开发者应对令牌限制、上下文腐化(context rot)以及对话中途关键信息丢失等情况。其核心定位是上下文工程(context engineering),强调上下文是一种有限资源且存在收益递减:更多令牌并不等于更好结果,关键在于筛选出正确的信息。
主要能力
资料中列出的能力包括:
- context-engineering(上下文工程)
- context-summarization(上下文摘要)
- context-trimming(上下文裁剪)
- context-routing(上下文路由)
- token-counting(令牌计数)
- context-prioritization(上下文优先级排序)
模式与反模式
资料中给出的模式包括:
- 分层上下文策略(Tiered Context Strategy):根据上下文大小采用不同策略。
- 序列位置优化(Serial Position Optimization):将重要内容放在开头和结尾。
- 智能摘要(Intelligent Summarization):按重要性而非仅按新近程度进行摘要。
资料中列出的反模式包括:
- 朴素截断(Naive Truncation)
- 忽视令牌成本(Ignoring Token Costs)
- 一刀切方案(One-Size-Fits-All)
使用方式
资料未提供具体的安装命令、调用方式或代码示例,暂未提供。
适用场景
适用于需要管理 LLM 上下文窗口的场景,例如处理上下文窗口、令牌限制、上下文腐化等问题,以及需要决定何时摘要、何时检索的对话系统。资料提到该技能与 rag-implementation、conversation-memory、prompt-caching、llm-npc-dialogue 等技能配合良好。
限制
资料未说明该技能的具体平台支持、收费方式、价格或效果指标,暂未提供。