SuperAPI AI 工具集

olares-router

通用与其它

查看项目

更新于 10-15 17:24

技能介绍

用途:Router 是每个 Olares 的 AI 网关,本身不运行模型,只持有提供方、模型、路由、密钥、配额与用量记录。它可给 Olares 接入云厂商模型,检查已有模型,安装或诊断本机模型应用,决定调用方在 model 字段可填的别名、模型组或默认类别,并为调用模型的软件发放密钥与配额、读取消耗。命令行用法以 olares-cli router <verb> --help 为准。

主要能力:提供方与模型管理(provider list/get/types/create/update/delete/validate/sync-models、model get/import/add/update/remove);本地 LLM 应用(provider register、model status/progress/retry/restart,配合 olares-market 的 install/clone);模型自述(model spec show/edit/file/set、model restart);路由与访问控制(route list/get/create/rename/enable/disable/delete/add/remove、默认类别、route candidates/pin/unpin;key issue/list/update/revoke/current、quota set/list/clear);用量与审计(usage summary/list/export/retention/apps、audit list/get)。调用支持 chat/responses/count-tokens/embed/rerank/search/scrape、translate、image/video/music/3d,以及语音方向的 transcribe/listen/speak/clone/dialogue/vad/diarize 与语音库、朗读历史。

使用方式:调用无需密钥,Router 从平台读取调用者身份,例如 olares-cli router call chat "hello"、olares-cli router call models。接入云厂商需两步:provider create 存凭据并 model import 使模型可调用,例如 olares-cli router provider create --type openai --credentials-json @openai.json --validate。本地模型由模型应用内的 Model Console 下载权重、启动引擎并提供 OpenAI 兼容端点,Router 只转发;容器状态与模型能否应答是两个独立状态,不可互相推断。命名上,模型写作 <provider>/<model>;无斜杠的是路由(别名、分组或 default-* 类别);本地应用统一为 Olares 提供方,需用 <app_name>/<model> 或模型 id 区分。

适用场景与限制:适用于接入厂商模型、本机跑模型、发放密钥配额、命令行调用模型与排查调用失败。需要 Olares 1.12.7+,且 Router 仅管理员可用,非管理员看不到入口并会报告未安装,可用 olares-cli profile whoami 与 olares-cli market list --mine 核实。provider delete、key revoke、quota clear、route delete 等破坏性操作前需再次确认;不要将凭据放在 shell 参数中,优先用文件或 stdin;key issue 只展示一次明文密钥。usage retention --days 会立即删除窗口外明细且不可撤销。model spec edit --engine-args 与 model restart 会重启服务进程。写入超时不要直接重试,Router 仅对三种 music 提交提供幂等键,其余重复请求会再次计费。配置齐全但不回答属于诊断问题,应先判断出错层级。目标提供方、模型、应用或用户不明确时应停止操作。具体收费、价格与效果资料暂未提供。