SuperAPI AI 工具集

Astra

Astra 是一种交互式通用世界模型,采用自回归去噪架构,能够根据初始图像、动作信号和可选提示,逐块生成未来视频。它支持自动驾驶、机器人抓取、相机控制等多种场景,通过时间因果注意力聚合历史观测并支持流式输出,利用噪声增强历史记忆平衡响应性与时间一致性,并引入动作感知适配器与动作专家混合机制实现精确动作控制。实验表明,Astra 在保真度、长程预测和动作对齐方面优于现有世界模型。

访问官网

工具介绍

Astra 是一个交互式通用世界模型,旨在从过去的观测和动作中预测长时程未来,适用于多种通用场景和不同形式的动作。

用途:Astra 能够生成真实世界的未来视频,覆盖自动驾驶、机器人抓取等多样化场景,并支持精确的动作交互,如相机运动、机器人动作等。所有视频均以场景图像作为第一帧由 Astra 生成。

主要能力:Astra 提出自回归去噪架构,使用时间因果注意力聚合过去观测并支持流式输出。它采用噪声增强历史记忆,避免过度依赖过去帧,以平衡响应性与时间一致性。为实现精确动作控制,Astra 引入动作感知适配器,将动作信号直接注入去噪过程。此外,它开发了动作专家混合机制,动态路由异构动作模态,增强在探索、操作和相机控制等多样化真实任务中的通用性。Astra 实现了交互式、一致且通用的长期视频预测,并支持多种形式的交互。

使用方式:Astra 从初始图像、动作和可选提示出发,逐块生成未来视频。分块因果条件化强制时间一致性和忠实的动作响应。动作专家混合将来自不同模态的动作信号投影到共享空间,通过历史掩码增强,并路由到模态专用专家。动态路由器选择 top-k 专家,其输出聚合为统一嵌入并馈入 Flow Transformer,实现多功能且精确的动作条件生成。

适用场景:Astra 处理多种场景,包括自动驾驶(从控制输入预测长时程交通动态)、操作(将机器人动作条件化于物体交互)和相机控制(在连贯视频中反映视角变化)。它还泛化到训练中未见的场景,包括室内环境、Minecraft 世界和动画风格场景,生成遵循相机或导航命令的连贯未来。

限制:资料中未明确列出 Astra 的局限性。未来工作包括发布针对自动驾驶和机器人操作等额外场景的完整推理流程,开源数据处理工具和训练代码以促进更广泛的可复现性,以及通过集成更先进的生成骨干(如 Wan 2.2)开发更高分辨率的 Astra 版本。