SuperAPI AI 工具集

context-window-management

智能体与模型

查看项目

更新于 10-16 09:28

技能介绍

用途:本技能用于管理大语言模型(LLM)的上下文窗口,核心目标是上下文优化,提供摘要、裁剪、路由以及避免“上下文腐化”的策略,而非绑定具体实现。

主要能力:包括上下文工程、上下文摘要、上下文裁剪、上下文路由、token 计数与上下文优先级排序。推荐先掌握 LLM 基础、分词基础与提示工程相关知识,并建议具备 prompt-engineering 技能。

主要工具:tiktoken(OpenAI 分词器,用于计数 token)、LangChain(含上下文管理工具的框架)、Claude API(支持 200K+ 上下文与缓存)。

典型模式:分层上下文策略根据上下文规模选择 full、summarize 或 rag 策略;序列位置优化将重要内容置于提示的开头与结尾;智能摘要按重要度而非仅按时间摘要;token 预算分配在系统提示、关键上下文、历史、查询与回复之间分配预算,并回收未用预算。另提供校验检查,如未计数 token、朴素截断消息、硬编码 token 上限、缺少上下文管理策略等。

使用方式:当任务涉及 context window、token limit、context management、context engineering、long context 或 context overflow 时使用。可与 rag-implementation、conversation-memory、prompt-caching、llm-npc-dialogue 等技能协作;命中 retrieval/rag/search、memory/persistence、cache 等触发条件时转交对应技能。

适用场景:多轮对话系统的上下文构建、超长历史摘要、需要可预测上下文管理的场景。

限制:不覆盖 RAG 实现细节、模型微调与嵌入模型;仅提供策略而非具体实现。输出不能替代针对具体环境的验证、测试或专家评审;若缺少必要输入、权限、安全边界或成功标准,应停止并请求澄清。价格与平台支持等细节暂未提供。