SuperAPI AI 工具集

iblai-api-inference

编程与开发

查看项目

更新于 10-15 22:16

技能介绍

用途:直接调用 ibl.ai 部署的 OpenAI 兼容聊天接口做推理,无需 MCP 服务器或智能体。请求与响应结构与 OpenAI /v1/chat/completions 一致,但由你的部署提供服务并路由到指定的 provider/model。

主要能力:支持非流式一次性补全、SSE 流式输出(stream:true 返回 data: {chunk} … data: [DONE]),以及工具调用(OpenAI tools / tool_calls,流式工具调用增量带 0 基索引)。模型列表接口返回部署可用模型,每个 id 均为可传入的 provider/model。

必要用法:每个请求带请求头 Authorization: Api-Token $IBLAI_API_KEY;路径变量 {org} 取 $IBLAI_ORG。模型必须写成 provider/model 形式(如 openai/gpt-5),裸名称会返回 400 invalid_request。所有聊天补全(流式与非流式)只能走 https://asgi.data.iblai.app/api/ai-mentor/orgs/{org}/v1/chat/completions;模型列表走 https://api.iblai.app/dm/api/ai-mentor/orgs/{org}/v1/models。WSGI 网关 api.iblai.app 不承载任何补全,仅提供模型列表。使用 OpenAI SDK 时把 base_url 指向该 ASGI 地址,并通过默认请求头传 {"Authorization": "Api-Token <key>"},不要用普通 api_key 字段;该 base URL 不提供 client.models.list(),需另行请求模型列表地址。

适用场景:需要直接进行补全、流式输出或工具调用,且不希望经过智能体层时使用。配置智能体所用模型请用 /iblai-api-agent-llm,与已部署智能体对话(RAG、记忆、历史)请用 /iblai-api-agent-chat。

限制:模型必须为部署已配置的 provider/model,未知模型返回 400;认证为 Api-Token 而非 Bearer;补全只能走 ASGI 主机。未连接时需先运行 /iblai-api-login 以填充 IBLAI_ORG 与 IBLAI_API_KEY。