SuperAPI AI 工具集

venice-ai

编程与开发

查看项目

更新于 10-16 00:04

技能介绍

用途:面向 Venice AI 平台开发,提供提示词缓存优化、API 集成模式与多提供商模型访问的专家级协助。

主要能力:通过前缀匹配缓存减少 API 成本 36%-90%、延迟最多降低 80%;统一 API 访问 Claude、GPT、Gemini、Grok、DeepSeek 等模型;提供成本优化、性能调优、多轮对话上下文缓存与缓存命中率调试。

必要用法:请求发送至 https://api.venice.ai/api/v1/chat/completions,使用 Bearer API Key 认证;静态内容置于动态内容之前以最大化缓存前缀;多轮对话使用 prompt_cache_key 保持路由一致;Claude 需显式 cache_control: {"type": "ephemeral"} 标记,其他模型自动缓存。Claude Opus 4.5 最低约 4,000 tokens,GPT、Gemini、Grok、DeepSeek 约 1,024 tokens。

适用场景:高流量 AI 应用、多轮聊天机器人、文档分析、RAG 检索增强、批量处理与共享上下文任务。

限制:缓存前缀须字节级一致,避免时间戳或随机 ID 破坏缓存;缓存有效期约 5 分钟至 1 小时;Claude 写入有 +25% 溢价,需至少 3-4 次复用才划算;低于最小 token 阈值不缓存。具体价格与平台支持范围以官方资料为准,部分细节暂未提供。