SuperAPI AI 工具集

ai-services

编程与开发

查看项目

更新于 10-15 21:10

技能介绍

用途:为 App Platform 应用配置 DigitalOcean Gradient AI 平台。简单 LLM API 调用走无服务器推理(OpenAI 兼容 API,无需智能体管理);完整 AI 智能体走 Agent Development Kit(ADK),支持知识库、RAG、护栏与多智能体路由。

主要能力:无服务器推理可直接调用 LLM 模型;ADK 可构建带知识库的智能体、内容过滤/护栏与多智能体工作流。可用模型示例:llama3.3-70b-instruct(通用高质量)、llama3-8b(更快更低成本)、mistral-7b(高效多语言),可用 doctl genai list-models 列出全部模型。

凭据处理:模型访问密钥遵循标准凭据层级,推荐 GitHub Secrets(创建密钥后加入 GitHub Secrets,由 app spec 引用),也可用 App Platform Secrets,通过 doctl apps update 设置 type: SECRET。app spec 中可用 envs 定义 MODEL_ACCESS_KEY(scope: RUN_TIME,type: SECRET,value: ${MODEL_ACCESS_KEY})。密钥在控制面板 Serverless Inference → Model Access Keys 创建,仅显示一次,需安全保存。

使用方式:无服务器推理在 app.yaml 中设置 MODEL_ACCESS_KEY 与 INFERENCE_ENDPOINT(https://inference.do-ai.run),再用 OpenAI 兼容 SDK 调用,base_url 为端点加 /v1。ADK 使用 pip install gradient-adk 安装,gradient agent configure 配置,gradient agent run 本地运行(http://localhost:8080/run),gradient agent deploy 部署;入口用 from gradient_adk import entrypoint 与 @entrypoint 装饰器。

适用场景:在 App Platform 上添加 LLM 推理、模型访问密钥、无服务器 AI 端点,或构建带知识库、护栏与多智能体路由的 AI 应用。

限制与排错:401 Unauthorized 多为密钥无效,需核对 GitHub Secrets;Model not found 为模型 ID 无效,运行 doctl genai list-models;Rate limit exceeded 需实现指数退避;ADK 部署失败常因缺少 token 权限,需确保 genai CRUD 与 project read 权限。模型可用性以 Gradient AI Models 当前列表为准。本资料未提供收费与价格信息。