Together AI 是一个面向 AI 开发全流程的全栈平台,官方将其描述为“AI 原生云”(AI Native Cloud),由前沿研究驱动,覆盖推理、微调与 GPU 集群等核心环节。平台目标是为从实验到大规模生产的 AI 开发旅程提供支撑。
用途与定位 Together AI 提供构建和运行 AI 应用所需的基础设施与模型服务,官方称其汇集“最优化”的开源模型,用户可探索覆盖文本、图像、视频、代码和语音等方向的模型。平台同时面向需要部署、微调和扩展模型的生产级工作负载。
主要能力 官方列出的核心服务包括:
- 无服务器推理(Serverless Inference):按需运行开源模型,无需管理基础设施,也没有长期承诺,官方称其为运行开源模型最快的方式。
- 批处理推理(Batch Inference):以异步方式高性价比地处理大规模工作负载,支持扩展到每个模型 300 亿 token,可使用任何无服务器模型或私有部署。
- 预置吞吐量(Provisioned Throughput):提供基于 token 定价的承诺推理容量、预留吞吐量和 99% 正常运行时间 SLA,并强调对生产工作负载的 API 兼容性,无需管理基础设施。
- 专用模型推理(Dedicated Model Inference):在专用基础设施上部署模型,面向需要速度、控制力和经济性的团队。
- 专用容器推理(Dedicated Container Inference):面向生成式媒体工作负载的 GPU 基础设施,可部署视频、音频和图像模型,并带有由 Together Research 提供的性能加速。
此外,平台还提供加速计算(Accelerated Compute,支持从自助即时集群扩展到数千块 GPU,并针对 Together Kernel Collection 优化)、沙箱(Sandbox,用于为 AI 应用和智能体快速、安全地建立完整开发环境)以及托管存储(Managed Storage,面向 AI 原生工作负载的高性能对象存储与并行文件系统,并称零出口费用)。
微调能力 平台支持对开源模型进行微调,官方称使用最新研究技术,无需管理训练基础设施,可提升准确性、减少幻觉并控制模型行为。
使用方式 官方页面展示了代码沙箱的使用示例,涉及 @codesandbox/sdk,包括创建沙箱、连接、运行构建命令、获取预览地址以及休眠沙箱并保留快照等步骤。但整体接入流程、API 调用细节、账户注册与计费方式等,资料中暂未提供。
适用场景 根据官方描述,Together AI 适用于需要按需运行开源模型的开发者、需要处理大规模异步推理任务的团队、需要承诺吞吐量与 SLA 的生产工作负载、需要专用基础设施部署模型的团队,以及需要部署视频、音频、图像生成模型等生成式媒体场景。平台也提及面向 AI 应用与智能体的沙箱开发环境。
限制与暂未提供的信息 资料中未提供具体收费价格、计费标准、免费额度、各模型的具体参数与性能指标、可用地区、服务等级以外的限制条件等。用户需以官方最新信息为准。
研究与生态 官方页面列出多项研究内容与产品公告,涉及推理加速、量化、长上下文、微调方法、智能体评测等方向,并提到 Together Link、开源 AI 技术栈(模型、推理、路由器、工具等)。这些内容体现其研究驱动的平台定位。