Anyscale 是一个 AI 应用平台,由 Ray 的创造者打造,基于 Ray 这一被广泛采用的 AI 计算引擎。它旨在帮助 AI 构建者运行数据密集型工作负载,在任意云上大规模构建和部署基础模型与 AI 应用。
主要能力方面,Anyscale 支持基础模型构建者扩展分布式训练、多模态数据整理、嵌入生成和后训练工作负载。具体包括:多模态数据整理,用于跨视频、图像、文本和音频的大规模流水线数据整理与准备;分布式模型训练,支持跨 GPU 集群编排模型训练,具备弹性伸缩、最后一英里数据预处理和 GPU 可观测性;批量嵌入生成,大规模处理和生成嵌入,用于下游搜索、检索或训练场景;以及在后训练框架(如 SkyRL 和 veRL,原生构建于 Ray 之上)上运行 LLM 推理和训练。
使用方式上,平台可在自有 GPU 上构建、运行和优化数据密集型训练与推理流水线。它能够扩展数据密集型 AI 工作负载,通过 Ray 在 Anyscale 上优化分布式训练、数据整理和批量推理流水线。借助 Python API,可将 PyTorch、vLLM、SGLang 和 XGBoost 等现有 AI 库扩展到数千节点。平台提供细粒度机器控制、无缝的 agent 优先体验、多云端编排、性能优化的 Ray 工作负载以及高级可观测性。
Ray 本身支持通过单个装饰器在分布式集群上执行 Python 函数和类;可使用分布式函数和类组合工作负载,每个可运行在不同的 CPU、GPU、TPU 或如 NVL72 的加速器机架上;可利用 Ray 的内存分布式对象存储或通过 RDMA 的直接传输实现高吞吐通信;Ray 提供 Ray Data 和 Ray Train 等原生库,以及 vLLM 和 SkyRL 等快速扩展的第三方库生态。
在统一与治理方面,Anyscale 可跨云统一并治理每个团队的 AI 工作负载:通过跨云、区域和 K8s 集群池化 GPU,让 AI 构建者快速行动;在共享资源池上运行训练和推理,根据工作负载需求动态重新分配容量以最大化利用率;在 AWS、GCP、Azure、Nebius 或 CoreWeave 上运行相同代码,无需针对特定云重写即可最大化跨区域 GPU 访问;提供访问控制和身份验证,包括 SSO、SAML、SCIM 和审计日志,实现安全的 multi-team 安全与治理。
适用场景包括基础模型构建、多模态数据整理、分布式模型训练、批量嵌入生成、LLM 推理与训练后处理,以及跨云 GPU 资源池化和多团队治理。用户可注册免费的 Anyscale 账户,访问 Anyscale Platform 上的数十个代码模板,并通过自助课程、网络研讨会、活动等学习使用 Anyscale 和 Ray。
限制方面,资料未提供具体收费、价格、平台支持细节或效果数据,这些事实暂未提供。