SuperAPI AI 工具集

managed-model-endpoints

通用与其它

查看项目

更新于 10-16 02:30

技能介绍

用途:让模型端点可在 Feynman 中直接使用,既可用于注册新端点,也可用于审计已有端点,适用于研究流程需要本地或远程模型服务、端点健康检查或凭据引用管理的场景。

主要能力:

  1. 定义端点用途、模型族、输入/输出模式、鉴权方式、硬件需求与预期延迟。
  2. 记录端点类型:本地、远程 HTTP、Modal 后端、SSH 后端或自定义连接器。
  3. 仅将非敏感元数据写入设置;密钥以环境变量名或凭据引用形式保存。
  4. 当 Feynman 负责端点生命周期时,实现启动、停止、健康检查和推理检查。
  5. 执行一次最小推理冒烟测试,保存请求/响应结构且不泄露密钥。
  6. 以研究基础设施方式暴露端点,健康检查未通过时不应声明模型已安装。

使用方式:按上述工作流逐步登记端点信息,补充生命周期实现与冒烟测试;具体命令与代码示例资料暂未提供。

限制:资料未说明支持的模型家族清单、具体平台要求、收费方式或完整配置字段;缺失事实暂未提供。