SuperAPI AI 工具集

openrouter-context-optimization

测试与质量

查看项目

更新于 10-15 23:27

技能介绍

用途:在 OpenRouter 上调用模型时优化上下文窗口使用,减少按 token 计费的开销,并在接近上下文上限时保持输出质量。

主要能力:查询各模型的 context_length 与 prompt 定价;估算输入 token 量并按 80% 安全余量选择合适模型,回退顺序为 gpt-4o-mini(128K)→ Claude 3.5 Sonnet(200K)→ Gemini 2.0 Flash(1M);裁剪长对话,保留系统提示与最近若干轮,并注入裁剪标记;将超长文档切成 8000 字符、500 字符重叠的分块,逐块分析后再综合;对 Anthropic 模型使用 cache_control: {"type": "ephemeral"} 提示缓存,重复静态大块输入可省约 90% 输入费用;监控响应中的 prompt_tokens 以提前发现上下文膨胀。

用法:需准备 OpenRouter API key(sk-or-v1-...),以 OPENROUTER_API_KEY 环境变量导出;Python 3.8+ 配合 OpenAI SDK、requests、tiktoken;curl 与 jq 用于查询 /api/v1/models;如使用 TypeScript 预算计算器需 Node.js 18+。可先运行查询上下文限制的单行命令,再在代码中调用模型选择、对话裁剪与分块处理函数。

适用场景:多轮长对话、超出单次窗口的大文档分析、RAG 中重复出现的大段静态上下文、需要在成本与质量间权衡的批量调用。

限制:以上为公开资料整理,具体模型的可用性和价格可能随 OpenRouter 变化;资料未提供完整收费信息与全部函数实现细节,缓存节省比例仅针对 Anthropic 模型。