AI 前沿
谷歌DeepMind发布Genie 4世界模型,支持实时改景与同步音频
谷歌DeepMind于10月27日面向研究预览推出Genie 4。新模型可生成更逼真、可交互的世界,用户能在模拟过程中用文字改变天气、视角、人物和物体,并获得音乐、环境声及对话等实时音频。场景一致性最长可达两分钟,Gemini也参与规划与检查。
据TechCrunch报道,Genie 4是谷歌在世界模型领域的最新布局,发布时间处于Runway GWM Worlds 2面世后、行业并购加速的背景下。报道提到,World Labs将被AMD收购,亚马逊洽谈收购Decart,Rivian则收购Third Dimension以增强自动驾驶测试模拟能力。
与一年多前的Genie 3相比,Genie 4不仅照片级真实感更强,还支持自由形式编辑,可实时改变天气、镜头角度并添加人物或物体。其连续保持场景的时间从约一分钟延长到两分钟,物理效果和人物表现也更自然。
Gemini在系统中承担“导演”角色,负责规划步骤和检查画面,Genie则生成视觉内容。在一项与Gemini Robotics相关的实验中,Gemini 4 Argon将任务拆解后由Genie 4实时模拟,显示出先在虚拟环境测试机器人场景的可能路径。谷歌研究主管Tejas Kulkarni认为,未来会更多出现Gemini生成代码和文本、Genie实时吸收并模拟现实的混合世界模型。
谷歌列举的商业方向包括游戏、互动学习和机器人;受信任测试者还提出电影原型制作这一用途。DeepMind工程师Diego Rivas称,实时性在构思和故事板阶段有助于保持创作流。他同时强调,Genie 4仍处早期,端到端产品形态尚未明确,团队也承认模型仍存在细节方面的缺口。