SuperAPI AI 工具集

add-model

智能体与模型

查看项目

更新于 10-16 05:01

技能介绍

用途:向正在运行的 LiteLLM 代理(proxy)添加一个新的 LLM 模型,并验证其可被正常路由调用。

主要能力:引导用户依次确定公开模型名(调用方在 model 字段中发送的名称)、提供商及对应凭据,然后调用代理的模型管理接口完成添加,最后发起一次测试请求确认路由生效。

使用方式:先准备 LITELLM_BASE_URL(如 https://my-proxy.example.com)与 LITELLM_API_KEY(代理管理员密钥)。提供商与 litellm_params.model 的对应关系包括:OpenAI 用 openai/gpt-4o(api_key);Azure OpenAI 用 azure/<deployment-name>(api_key、api_base、api_version);Anthropic 用 anthropic/claude-3-5-sonnet-20241022(api_key);AWS Bedrock 用 bedrock/anthropic.claude-3-5-sonnet-20241022-v2:0(AWS 凭据经环境变量);Google Vertex 用 vertex_ai/gemini-1.5-pro(vertex_project、vertex_location);Ollama 用 ollama/llama3(api_base,如 http://localhost:11434);Groq 用 groq/llama-3.3-70b-versatile(api_key);Together AI 用 together_ai/meta-llama/Llama-3-70b(api_key);Mistral 用 mistral/mistral-large-latest(api_key)。添加时执行:curl -s -X POST "$BASE/model/new" -H "Authorization: Bearer $KEY" -H "Content-Type: application/json" -d '{"model_name":"<public-name>","litellm_params":{"model":"<provider/deployment>","api_key":"<key>","api_base":"<base_if_needed>","api_version":"<version_if_azure>"}}'。添加后测试:curl -s -X POST "$BASE/chat/completions" -H "Authorization: Bearer $KEY" -H "Content-Type: application/json" -d '{"model":"<public-name>","messages":[{"role":"user","content":"say hi"}],"max_tokens":10}'。

输出要求:展示响应中的 model_id(后续更新或删除模型时需要),并报告测试调用的通过或失败结果。

限制:资料未提供价格、平台支持范围、并发或配额等细节;完整提供商列表见 https://docs.litellm.ai/docs/providers,API 参考见 https://litellm.vercel.app/docs/proxy/model_management。