SuperAPI AI 工具集

prompt-cache-discipline

智能体与模型

查看项目

更新于 10-30 16:19

技能介绍

用途

Prompt Cache Discipline 用于指导大模型调用中的提示缓存实践。当重复的模型调用共享大量指令、工具定义、上下文或前缀,并且缓存效率会实质性影响成本或延迟时,适合采用这套规范。它的目标不是单纯追求缓存命中,而是在保证正确性的前提下,让可复用的提示前缀保持稳定,从而降低重复计算带来的开销。

主要能力

该技能围绕“保持稳定前缀稳定”这一原则,提出了一组可执行约束:

  • 将长期有效的指令、schema 和可复用参考上下文放在易变的轮次数据之前。
  • 在没有正确性理由的情况下,不重写、不重排、不加时间戳、不重新序列化已预热的前缀。
  • 保持会话级状态精简,把易变事实追加在可复用前缀之后。
  • 批量处理相关的读取与推理,避免重复调用时反复发送略有差异的超大上下文。
  • 在存在遥测能力时,测量 cached_tokens、未缓存输入、输出、延迟和总成本。
  • 若必须压缩上下文,应保留长期约束,并避免反复的微压缩导致缓存频繁失效。
  • 缓存命中永远不能优先于正确性;当事实或治理指令变化时,应有意地使过期前缀失效。

使用方式

资料中未提供具体的安装命令、代码示例或调用步骤,暂未提供。从技能描述看,它更像是一套在构建模型调用流程时需要遵循的规范:在组织提示结构时,先放置稳定内容,再追加易变内容;在需要压缩或更新上下文时,谨慎处理前缀,避免无意义的变更破坏缓存。

适用场景

适用于多次模型调用共享大段指令、工具定义、上下文或前缀的场景,尤其是缓存效率会明显影响成本或延迟的情况。例如需要反复调用同一模型、携带相同系统提示或参考资料的流程。

限制

资料未说明该技能支持的具体平台、模型、编程语言或工具链,暂未提供。其约束以原则性要求为主,实际落地方式需结合具体调用环境。此外,该技能明确强调正确性优先:当事实或治理指令发生变化时,即使会降低缓存命中,也应主动使过期前缀失效。