SuperAPI AI 工具集

ai-serving-apis

编程与开发

查看项目

更新于 10-15 23:58

技能介绍

用途:把 DSPy 程序包装成 Web API,让其他服务或前端能通过 HTTP 调用 AI 能力。默认使用 FastAPI,也可按用户既有框架调整。

主要能力:定义 Pydantic 请求/响应模型;在启动时通过 lifespan 一次性加载 DSPy 程序与 LM;提供单条查询、批量、健康检查等端点;支持按请求用 dspy.context() 覆盖模型或 temperature;将 DSPy 错误映射为 HTTP 状态码(Refine 耗尽 422、限流 429、超时 504);用 pydantic-settings 管理环境配置;提供 Dockerfile 与 Docker Compose 示例;可用 save()/load() 加载优化后程序(optimized.json),部署时无需训练数据或优化器;可选 MLflow autolog 做可观测性。

使用方式:按建议结构分离 program.py、server.py、models.py、config.py;启动时加载一次程序并挂到 app.state;本地运行 pip install fastapi uvicorn pydantic-settings 后执行 uvicorn server:app --reload --port 8000,访问 /docs 查看文档;用 curl 测试 /health 与 /query。

适用与限制:适合需要对外提供 AI 能力的生产微服务、向既有后端加 AI、无服务器低流量或突发负载等场景。纯内部脚本/笔记本、仅批量定时任务、或前端可直接调用模型提供商且无优化逻辑时,不建议加 API 层。注意避免在路由内新建 dspy.LM 或加载程序、异步路由中阻塞调用、在路由内改全局 dspy.configure()、直接返回 Prediction 对象等常见问题。

其他信息:安装技能命令 npx skills add lebsral/DSPy-Programming-not-prompting-LMs-skills --skill <name>;详细示例与参考见 examples.md、reference.md。具体收费、价格与效果数据暂未提供。