llm-cost-optimizer

用途：面向 LLM 成本工程，帮助团队定位并削减 AI API 开销。核心原则是先度量、后优化、持续监控。\n\n工作模式：一、成本审计（支出存在但去向不明），先对每次请求记录模型、输入/输出 token、延迟、端点、用户分群与计算成本，按“功能×模型×token 数”排序，找出贡献 80% 支出的 20% 请求。二、优化现有系统，按 ROI 顺序应用：模型路由（按任务复杂度分小/中/大三档）、提示缓存（缓存系统提示与静态上下文，目标命中率 >60%）、输出长度控制（明确长度指令、JSON 约束、按端点设 max_tokens、停止序列）、提示压缩（去冗余，但避免过度压缩引发重试）、语义缓存（基于嵌入相似度，余弦相似度 >0.95 可安全返回）、请求批处理。三、设计成本高效架构，上线前接入预算信封、路由层、按用户分层模型访问、成本看板与降级策略。\n\n主动标记：无按功能成本拆分、所有请求打同一模型、系统提示超约 2000 token 且每请求发送、未按端点设 max_tokens、无成本告警、免费用户与付费用户共用同一模型。\n\n限制：具体价格、模型名称、平台支持情况以各供应商当前价目表为准；资料未提供固定定价或保证收益。若缺少 token 日志，应先建立日志基线再进行优化。