DeepInfra 定位为推理云服务平台,主要面向需要部署和运行深度学习模型的开发者与企业。其核心用途是提供生产就绪的机器学习模型与基础设施,让用户通过 API 调用完成 AI 推理,从而加速 AI 应用的构建。
主要能力方面,平台提供开发者友好的 API,强调性能与成本效率;支持按需付费的定价模式,无长期合约、无隐藏费用;官方称可扩展至数万亿 token,覆盖从初创公司到企业级的需求。平台提供 100 多个模型,并设有精选模型展示区。用户可根据成本、延迟、吞吐量或规模等优先级获得定制化推理方案,并获得技术支持的协助。
安全与合规方面,DeepInfra 采用零保留策略,用户输入、输出及用户数据保持私密;平台已获得 SOC 2 和 ISO 27001 认证,并遵循信息安全与隐私最佳实践。基础设施运行于自有的、面向推理优化的美国数据中心。平台还提供端到端的实时 AI 推理指标,涵盖速度、规模、稳定性与开销;并可提供由 DeepInfra 采购和运营的自有 NVIDIA B300 GPU 集群,采用 Tier 3 数据中心,宣称 99.982% 正常运行时间 SLA。
使用方式上,用户通过平台提供的 API 接入模型进行推理,具体接入流程、模型清单与计费细节在资料中暂未提供。
适用场景包括需要大规模 AI 推理、注重成本与延迟优化、对数据隐私和合规有要求,以及希望使用托管式 GPU 基础设施的开发者与企业。
限制方面,资料未提供免费额度、具体价格数值、各模型详细参数、支持的编程语言或 SDK、可用区域等具体信息,这些内容暂未提供。资料提及 DeepInfra 完成 1.07 亿美元 B 轮融资,由 500 Global 和 Georges Harik 联合领投,A.Capital Ventures、Crescent Cove、Felicis、NVIDIA、Peak6、Samsung Next、Supermicro 和 Upper90 参与。