SuperAPI AI 工具集

long-context-lost-in-the-middle

写作与研究

查看项目

更新于 10-16 05:47

技能介绍

用途:在长上下文、RAG 或多文档问答场景中,按“开头/中部/结尾”显式组织上下文片段,缓解模型对中部信息利用不足的问题。依据 Liu et al., 2023《Lost in the Middle: How Language Models Use Long Contexts》的思路进行编排。

主要能力:接收 query、chunks(含 id、text、score,可选 tokens、meta.summary)、max_context_tokens、mode(如 qa_multi_doc、key_value_retrieval)与 position_bias_strategy(edge_priority、uniform、middle_boost);按相关性排序,划分高/中低重要度,构建三段上下文:Section A 关键事实(开头)、Section B 扩展上下文(中部,多为摘要)、Section C 关键事实复述(结尾),交替在 A/C 放置高重要度片段;按 token 预算裁剪并说明被截断内容;必要时生成简短摘要;输出结构化提示(含 System、任务说明、A/B/C、Question、期望输出),可按需输出 JSON debug_info(各段 ID 与剩余 token 估算)。

使用方式:激活场景为用户提及长上下文、长窗口位置性能下降、“Lost in the middle”、RAG、multi-doc QA,或需从多文档/chunks 构建长提示、评估改进既有上下文编排/RAG 管线。输入需明确 chunks 格式与预算,缺失时应先向用户确认。若仅有短文本或单一小文档,通常无需使用。

限制:不执行最终模型推理;文档未提供具体模型、平台、价格或效果数据;实践效果依赖输入 chunk 质量、评分与 token 估算,文档给出的 top_k≈8、tokens≈词数×1.3 仅为示例性启发式。