SuperAPI AI 工具集

cost-optimized-llm

智能体与模型

查看项目

更新于 10-16 08:45

技能介绍

用途:为 LLM 应用实现按任务复杂度分层的模型路由,以降低调用成本,并明确禁用 OpenAI 模型。

主要能力:提供分层路由策略。Tier 1 简单任务走 DeepSeek(分类、抽取、格式化、基础问答、情感分析);Tier 2 中等任务走 Claude Haiku(代码审查、摘要、多步推理、数据分析);Tier 3 复杂任务走 Claude Sonnet(架构决策、复杂代码生成、多文件重构、细致分析)。允许的提供方包括 Anthropic、Google Gemini、经 OpenRouter 的 DeepSeek 与 Qwen、Cerebras,以及本地 Ollama、sentence-transformers。

使用方式:通过环境变量配置密钥,如 ANTHROPIC_API_KEY、OPENROUTER_API_KEY、GOOGLE_API_KEY,明确禁止 OPENAI_API_KEY。可用 estimate_complexity 依据字数、是否含代码、是否含分析等启发式判断复杂度,再由 route_to_model 选择模型;也可用 force_model 指定。DeepSeek 经 OpenRouter(OpenAI SDK,base_url 设为 https://openrouter.ai/api/v1);Claude 使用 anthropic SDK;Gemini Flash 可作免费原型。成本通过 log_cost 记录到 ~/.claude/llm_costs.jsonl 进行追踪。

适用场景:MVP 与原型可用 Gemini Flash(限 15 请求/分钟、150 万 tokens/天、1500 请求/天);语音管线可按订阅档位选择 TTS/STT/LLM。

限制:资料给出的价格为示例成本,实际以提供方为准;复杂度估算为启发式规则,可能不准确;lang-core 会在运行时拦截 OpenAI 密钥;未提供完整部署与验证步骤之外的细节。