用途:本技能用于在 Python 程序内直接使用 LiteLLM SDK 建立或审查调用逻辑,而非管理 Proxy。适用任务包括 completion、streaming、structured output、tool calling、Responses API 与基础成本追踪。
主要能力与工作流程:先判断 endpoint 类型与模型能力,确认是否应使用 SDK 而非 Proxy;查核 LiteLLM 官方文档与 provider 支持状态,不凭记忆猜测模型名称或参数;用环境变量读取凭证,并指定带 provider 前缀的模型;实现成功路径以及 authentication、rate limit、timeout、provider error 等错误路径;structured output 需在应用层再次验证;tool calling 只执行已注册工具并验证 arguments;streaming 需处理空 delta、中途失败与取消;执行离线测试,仅在用户明确允许时才调用付费 provider。
安全底线:不硬编码或输出真实 API key;不任意执行模型产生的函数名或未验证参数;不假设所有模型都支持相同的 tools、JSON mode、reasoning 或 streaming 行为;成本数据为估算值,需要价格时重新查核官方 model cost map。
验收要点:最小成功案例可执行或由 mock 验证;三类主要错误有明确处理与测试;structured output 有 schema 与应用层验证;tool calling 对未知工具及不合法 arguments 采取拒绝策略;回报执行命令、预期结果与实际证据。
限制:资料未提供具体安装命令、代码示例、版本注意事项与价格细节,需查阅官方文档与实验参考。