用途:围绕 LiteLLM 设计或审查成本治理,覆盖 virtual keys、spend tracking、budgets、rate limits、request tags 与 provider budget routing;当任务涉及用量限制、模型 allowlist、成本归因或报表时使用。
主要能力与工作流程:先定义 key、user、team、tag、model 与 provider 的治理边界及可信任来源;查核 LiteLLM 版本、授权方案、Postgres/Redis 需求及 budget 语义;建立 virtual key,设置 model allowlist、hard budget、duration 或 expiry、rate limits 与 owner;由可信任服务器端注入治理用 tags,用户端 tags 仅用于非安全关键观测;查询 spend logs,对齐时区、token 类型、cache tokens 与 model cost map;测试超额、到期、未授权模型及撤销后行为;课程结束撤销 key,保存不含 secret 的稽核证据。需要 key payload、安全设置与核心实验时,读取实验与参考。
安全底线:不把 master key 当学生或一般应用程序 key;不信任用户端可修改的 metadata、user 或 tag 作为授权与预算边界;治理用 tags 应由 key/team metadata、可信任 hook 或服务器端注入;每把暂时性 key 都必须有 expiry、owner、model allowlist 与最小预算。
验收:key 建立后可查到 expiry、models、budget 与 owner;到期、超额、撤销与未授权模型请求均被拒绝;报表能回答谁、哪个 team、哪项活动、哪个模型花费多少;用户端无法伪造安全关键成本归因。
限制:资料未提供具体安装命令、价格、平台支持范围或完整代码示例,相关细节暂未提供。