2024年5月14日，谷歌在加州山景城举办的I/O开发者大会上正式推出Gemini Omni系列多模态AI模型，意味着其AI战略正从通用生成能力，转向能模拟现实场景的“世界模型”方向。当前AI行业正处于多模态竞争的关键阶段，视频生成已成为巨头们争夺的核心领域，OpenAI的Sora模型、Anthropic的Claude 3.5系列均已取得技术突破，谷歌此次发布正是为了巩固其在多模态领域的领先地位。
Gemini Omni系列包含Gemini Omni和Gemini Omni Flash两大核心模型。其中Omni Flash主打10秒以内的1080p短视频生成，响应时间能控制在2秒以内，目的是降低普通用户的创作门槛，推动消费端的广泛采纳；Omni则侧重企业级应用，尤其在广告领域，核心能力是将精确文本渲染与视频、图像等多模态内容深度融合，快速生成符合品牌调性的营销素材。
谷歌将Gemini Omni定义为“世界模型”，其核心技术体现在多模态数据的实时融合与现实场景模拟能力上。模型整合了文本、图像、视频、音频等多源数据，搭建出能模拟真实物理规则与交互逻辑的数字模型，从而生成更具真实感的内容。例如在广告应用中，输入产品描述与目标受众特征，Omni可自动生成包含动态场景与精准文本的视频广告，还能根据不同平台规则调整内容格式。
对企业而言，Gemini Omni在广告领域的价值不言而喻。据谷歌官方数据，引入该模型后，广告素材制作时间缩短80%，成本降幅超过60%。按谷歌2023年1900亿美元的广告营收推算，若10%的素材采用Omni生成，每年可节省成本约114亿美元。对消费者来说，Omni Flash让短视频创作变得更简单，普通用户无需专业技能就能生成高质量内容，助力短视频生态的进一步繁荣。
行业近期动态显示，2024年6月Anthropic发布了Claude 3.5 Sonnet模型，可生成最长30秒的4K视频，视频理解准确率比上一代提高了25%；OpenAI的Sora模型已向部分企业开放测试，能生成60秒的1080p视频，在场景连续性和细节还原上表现突出。Meta计划在2024年第三季度推出Llama 3的多模态版本，将重点强化视频生成与现实模拟能力。分析师认为，谷歌Omni系列虽然在广告整合方面具备优势，但在视频时长和分辨率上仍有提升空间，需应对Anthropic和OpenAI带来的竞争压力。
快报