用途:本技能整理 Replicate 官方 npm 包在 TypeScript/Node.js 中的使用模式,用于在 Replicate 的无服务器 GPU 上运行开源模型(如 Llama、Stable Diffusion、Whisper),无需自行管理 Docker、CUDA 或 GPU 资源。
主要能力:客户端初始化与配置(认证、user agent、文件编码);三种执行方式——replicate.run() 同步返回输出、replicate.stream() 基于 SSE 实时流式输出、replicate.predictions.create() 异步后台任务配合 Webhook;模型版本管理(owner/model 用最新版,owner/model:version 固定版本);文件输入输出处理(FileOutput 实现 ReadableStream,支持 URL、Buffer、ReadStream 输入);Webhook 设置、事件过滤与签名校验;部署(自定义硬件、扩缩容、保持模型常驻);训练与微调。
使用方式:安装 replicate npm 包后,客户端会自动读取环境变量 REPLICATE_API_TOKEN,切勿硬编码令牌。生产环境应固定模型版本以保证可复现;文件输出需按 FileOutput 对象处理,用 .url() 或 .blob() 获取内容,不能当作字符串;Webhook 必须用 validateWebhook() 校验签名。SDK 对 429 和 5xx 默认自动重试 5 次并指数退避。
适用场景:图像生成、音频转写、LLM 推理、实时流式输出、异步预测与 Webhook 通知、自定义数据微调、通过部署获得稳定低延迟。
限制:Replicate 是纯云端平台,不支持本地运行模型;未使用部署时冷启动可能长达数十秒至数分钟,无法保证亚秒级延迟;若需要统一的多供应商 LLM SDK 或自托管模型,则不属于本技能范围。具体价格与计费细节资料未提供。