ActWorld 是一个实时交互式世界模型，其核心目标是让交互式世界模型不仅能被“观看和移动”，还能真正对场景中的物体采取行动。
用途 交互式世界模型用于在实时用户动作下模拟环境动态。但既有模型的动作词汇大多局限于导航：多数动作对应移动（走、转、环顾），而与场景中物体的交互（拿起盘子、开门、触发物理响应）要么缺失，要么仅限于游戏领域，要么被降级为“提示生成整段视频”的场景。结果是世界在视觉上可探索，但并不真正可操作。ActWorld 将先前以导航为中心的生成器扩展为支持回合中物体交互的模型。
技术思路 作者认为导航与交互之间的鸿沟源于两个瓶颈：一是数据瓶颈，缺少带有准确、密集标签的人与物体交互数据；二是记忆瓶颈，基于近因偏差的历史压缩会丢弃因果决定后续物体状态的事件过渡帧，导致“动作遗忘”病理。
主要能力
- 分层动作感知记忆：局部记忆库在滑动窗口内路由并放大对交互关键的帧；持久库保存紧凑的事件更新和物体身份标记，使其在窗口淘汰期限之后仍然存活，从而治愈基于近因的记忆所导致的动作遗忘病理。
- 交互密集型数据集与标注：一个高质量 10 万条视频语料库，覆盖 40 个动作类别，每个分块都由思维链 VLM 标注密集描述和交互阶段标签，这是现有以导航为中心的数据集所缺乏的监督信息。
- 统一实时世界模型：单一模型同时支持灵活导航和丰富物体交互，将动作感知记忆与双分支相机条件模块结合，并在 I-Bench 这一新长程基准上验证，该基准交替进行导航与交互。
使用方式 ActWorld 的流水线中，每个 33 帧的分块会获得专门的描述和结构化的交互/阶段标签；思维链提示迫使 VLM 在作出判断前对显式视觉证据进行推理，从而消除虚构的交互。几何分支将逐像素 Plücker 射线传入共享 FiLM 模块；符号分支将 81 项的（键盘、鼠标）词汇表映射为文本嵌入，保持精细的视角控制。事件感知帧重分配以重要性排序路由替代近因分桶，使因果关键的接触/操作帧在压缩后仍能保留；动作条件历史放大则将注意力锐化到对当前动作重要的键上。一个事件与物体身份标记的 FIFO 库（在交互阶段被固定）在长导航间隙中携带物体身份；Helios 风格的蒸馏将 50 步教师模型缩减为 3 步生成器，以供实时使用。
评估与对比 交互式并排比较显示，ActWorld 在各项轴上均达到最佳或接近最佳。VLM-Action-Judge 衡量语义指令遵循：评判 VLM 以 0–3 分对每个分块评分，判断被命令的动作是否真的发生。Key-Mouse-Following 衡量几何可控性：从真实（按键、鼠标）序列生成片段，恢复其轨迹，并检查每个分块是否按命令移动。VBench 提供感知与一致性指标，使用近期视频世界模型论文常用的 VBench-1.0 / VBench-i2v 维度。页面还展示了跨多样场景的推演结果。
适用场景与限制 ActWorld 适用于需要实时、可交互、兼具导航与物体操作的世界模型研究与演示场景。当前资料未提供收费方式、价格、平台支持、具体安装命令或代码仓库等信息，这些内容暂未提供。
