Happy Oyster 是阿里巴巴推出的实时交互式 3D 世界模型,定位于开放式世界模型,用于实时世界创建与交互。根据官方信息,其核心能力包括以下几个方面。
用途:Happy Oyster 用于实时创建和交互开放式世界。用户可以通过文本、语音或图像来导演场景,也可以探索无限延展的世界,并伴随连续的音频视频生成。
主要能力:
- 导演模式(Directing):通过文本、语音或图像实时操控一个正在运行的世界。
- 漫游模式(Wandering):以第一人称视角探索可无限扩展的世界。
- 多模态(Multimodal):联合音频与视频生成,并在时间推移中保持连贯的物理表现。
使用方式:官方描述表明,用户可使用文本、语音或图像作为输入来导演世界或探索无限世界。目前资料中未提供具体的安装命令、代码示例或详细操作步骤,暂未提供。
适用场景:适用于需要实时世界创建与交互的任务,例如通过多模态输入实时操控动态场景,或以第一人称探索不断扩展的虚拟世界。
限制:当前资料未提及收费、价格、平台支持、具体效果或使用限制等信息,暂未提供。