Google 砍掉 88% 视频 Token 的 Agent 新玩法

2026.09.02 17:21
Google 为 Gemini 3.7 Flash 等模型推出 Agentic Video Understanding,让模型自主决定看视频的哪些片段、以什么帧率和模态获取信息。相比传统的固定帧率逐帧扫描,Token 消耗最高降低 88%,分析成本下降 66%,准确率反而提升 7%。这标志着 AI 视频处理从"蛮力计算"走向"智能调度"的范式转换。

88%。这不是一家公司的利润率,也不是一个市场增长率。这是 Google 最新公布的一组数据中最刺眼的一个数字。当 Gemini 模型从"逐帧扫描"切换到"自主调度"模式处理视频时,Token 消耗量最多可以砍掉 88%。

如果把过去两年 AI 视频理解的发展史摊开来看,你会发现一个有趣的分野:一边是模型参数规模在以每年 10 倍的速度膨胀,上下文窗口从 128K 飙到 200 万 Token;另一边是处理视频的方式几乎没有变过,固定帧率采样、逐帧编码、全部塞进模型。就像一个电影评论家每次写影评前都必须把整部电影一帧一帧画成素描。

9 月 1 日,Google DeepMind 正式向 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 推送了 Agentic Video Understanding。这不是一次常规的 API 升级。它从根本上改变了模型"看"视频的方式。

从"蛮力扫描"到"智能狩猎"

到目前为止,主流多模态模型处理视频的方式高度一致:以固定帧率(默认 1 FPS)从视频中抽取画面帧、转录音频轨道,然后将所有数据一并送入模型进行推理。开发者可以通过 API 调整采样帧率,但底层逻辑没有区别。模型收到的是一整坨未经筛选的素材,它必须自己从中找到答案。

这种方式的好处是简单、确定。代价则是性价比曲线急剧下滑。一个 90 分钟的讲座视频,按 1 FPS 采样就是 5400 帧画面,加上完整的音频转录文本,单次分析的 Token 消耗可以轻易突破百万级别。

Google 这次的做法完全不同。Gemini 不再被动接收全部素材,而是进入一个"思考、行动、观察、输出"的 Agent 循环。模型自行决定要看哪些片段、以什么速度播放、通过哪种模态(画面帧、音频还是转录文本)来获取信息。它只在必要时才加载视频文件的特定部分。

官方给出的架构图清晰地展示了这一流程:模型接收用户的查询后,在内部循环中依次调用 get_transcriptget_frames(start, end, fps)get_audio(start, end) 等专用工具,每次观察结果后决定下一步动作,直到信息足够回答问题。

这不是凭空冒出来的能力。今年 1 月,Google 曾为 Gemini 3 Flash 推出 Agentic Vision,让模型通过写 Python 代码来缩放、裁切和标注图片,实现自主探索图像内容。视频端的 Agent 化逻辑正是这一思路的延伸。而当 Google 在 2025 年 5 月首次通过 Gemini 2.5 Pro 实现原生视频理解时,一位产品经理就曾预告过此类动态搜索能力。如今,承诺兑现了。

88%、66%、7%:三个数字背后的范式转换

Google 官方公布了三组关键数据来验证新范式的效率优势。

在 1H-VideoQA 和 LVBench 两个标准视频分析基准测试中,开启 Agentic Video 模式的 Gemini 3.7 Flash,Token 消耗最高降低 88%,分析成本下降 66%,准确率反而提升了 7%。

准确率提升的幅度虽然只有 7%,但和 Token 消耗下降 88% 放在一起看,意义完全不同。在传统模式下,降低 Token 消耗的手段只有降低采样帧率。这本质上是在"看得更少"和"猜得更准"之间做零和博弈。Agent 化打破了这一困境。模型不是看得更少,而是看得更准。

Google 的基准测试还显示,Gemini 3.7 Flash 在开启 Agentic Video 后的准确率-成本曲线上处于 Pareto 最优前沿。在所有被测试模型中,它实现了最高的性价比。在其之下,包括了第一梯队的所有主流竞品。

三个核心用例最能体现这一能力的实际价值:

长视频"大海捞针"。 从 10 分钟教程到 90 分钟讲座再到多小时的监控录像,模型可以在不消耗数百万 Token 的前提下精准定位目标场景。这对企业的视频资产检索、会议摘要、课程分析等场景是直接的成本利好。

亚秒级动作捕捉。 模型能够识别时长不足 1 秒的关键瞬间,包括状态切换和画面跳转,这是固定 1 FPS 采样极易遗漏的信息。对视频编辑、体育分析和自动化质检领域,这意味着质的飞跃。

动态帧率下的精确计数。 模型可以自主对可疑时间段以更高帧率重新采样,从而准确统计重复动作和随时间变化的目标数量。这在工业视觉检测和医学影像分析中有着直接的应用价值。

Agent 化:AI 视频处理的"省油"工程

将 Token 消耗降低 88% 这件事,放在更大的产业背景中看,意义远超一次产品更新。

过去两年,AI 行业对视频的理解能力有了实质性的跃升。Gemini 2.5 Pro 从 2025 年 5 月开始实现原生多模态视频理解,OpenAI 的 GPT-5 系列和 Anthropic 的 Claude 3 及 4 系列也陆续接入了视频模态。但一个尴尬的事实始终存在:视频分析的成本太高,高到在大多数实际场景中无法形成正向 ROI。

Token 即算力,成本即算力。在 AI 服务的定价体系中,视频处理的 Token 消耗量直接决定了企业用户实际承担的 API 费用。一个需要频繁分析大量视频内容的 SaaS 应用,每个月在视频分析上的 Token 支出可能占到整体 API 预算的一半甚至更多。

88% 的降幅意味着,以前花 100 元做的视频分析任务,现在只要花 12 元。这个降幅足以让之前因为成本过高而被搁置的视频分析项目重新进入商业可行性的射程。

更重要的是,Google 没有为此单独收费。开发者只需在 API 配置中把 processing 模式设为 "agentic",支付标准的 Gemini API Token 费率。没有附加费,没有单独的定价层级。

但这套方案并非没有限制。Agentic Video 的内核是模型的自主决策能力,它依赖于 Gemini 自身的高质量推理来对"应该看哪里"做出正确判断。如果模型在关键帧选择上出现偏差,或者在高噪声视频中频繁触发不相关的信息提取,Token 节省效果将会被稀释。从技术上说,这一能力的可靠性窗口取决于模型对视觉内容的理解质量,而非采样率的物理上限。因此,它在场景明确、目标清晰的查询(如"找火灾画面""统计人数变化")中表现最好,而在模糊、开放式的视频理解任务中,效果仍需进一步验证。

将改变带到每个用户的屏幕前

Google 的计划不止于 API 层面的开放。这家公司已经明确了两条产品化路径。

短期内,Agentic Video 将推送到 Gemini 应用中的所有 Flash 和 Flash-Lite 用户。这意味着数亿普通用户将间接体验到这一能力的提升。搜索一个视频中的关键信息时,模型能给出更紧密关联画面内容的答案。

中长期内,这一能力将接入 YouTube 的"Ask YouTube"功能。用户在 YouTube 看视频时可以直接向 AI 提问视频中的内容细节,而模型给出的答案将不再仅依赖标题和描述文本,而是真正基于视频中实际呈现的画面信息。

这两条路径揭示出 Google 的一个战略意图:Agentic Video 是基础设施级的能力,而非某个独立产品层的功能。它被设计为可以搭载到 Google 旗下的所有视频触点,从 Gemini API 到 Gemini 应用再到 YouTube。就像一个能够自主狩猎的视频搜索引擎,在每一个需要理解视频的地方工作。

当"省"比"大"更具竞争力

回到开头那个数字:88%。

在 AI 行业过去两年的叙事中,"更大"一直是主旋律。更大的模型、更大的上下文窗口、更大的算力集群。Scaling Law 被奉为圭臬,似乎只要把参数堆得足够多,一切问题都会迎刃而解。

Agentic Video 传递了一个不同的信号。当模型已经足够智能,下一步的竞争焦点将从"谁算得更快"转向"谁算得更聪明"。这并不意味着 Scaling Law 失效。Gemini 3.7 Flash 依然是参数规模巨大的前沿模型。但在这个基础上加入 Agent 化的决策层,让同样的算力产生更多有用的结果,本质上是在做"算力复用"的乘法。

这或许正是 DeepSeek、Mistral 等效率导向的模型在过去一年获得关注的核心原因。市场开始追问一个更本质的问题:你花了多少算力,换回了多少价值?

88% 的降幅不会自动击倒所有竞争对手。GPT 和 Claude 也在快速迭代各自的视频处理能力。但当 AI 视频分析的成本在一个产品上被砍掉近九成,这个行业很快就需要重新回答一个老问题:凭什么你的视频分析那么贵?

当一个 90 分钟的视频只需要拿出一个 12 分钟的注意力去理解,模型自己就知道哪 12 分钟该看。这才是 Agent 真正改变的东西。不是更快的扫描,而是更聪明的选择。

作品声明:内容由AI生成

快报

更多

11:20

航运板块持续走高,中远海能等多股涨停

11:16

国家体育总局:培育壮大体育线上直播、线上培训、虚拟体育、智慧运营等新业态

11:15

现货白银升至66美元/盎司,日内上涨1.04%

11:14

沪深两市成交额突破1万亿,较上一日此时缩量超1200亿

11:11

焦煤期货主力合约日内大跌4%,现报1640元/吨

11:07

MSCI亚太指数上涨1%至277.23点

11:07

沪金期货主力合约涨幅扩大至2%,报959.20元/克

11:04

国家体育总局:进一步扩大优质赛事供给,解决观赛“一票难求”问题

11:02

上海公布首批算力生态合作伙伴,38家单位覆盖产业链多环节

10:59

国家体育总局:支持高校、家庭等多元主体参与竞技体育竞赛

10:58

保障旅客顺畅高效出行 《综合客运枢纽服务规范》国家标准发布

10:53

上海:强化天然气保供,至2030年储备能力达25天以上

10:49

上海市住房和城乡建设管理“十五五”规划:进一步扩大老旧小区改造覆盖面,实施老旧小区改造3000万—4000万平方米

10:49

上海市住房和城乡建设管理“十五五”规划:新增供应商品住房2500万—2800万平方米

10:46

南向资金净买入额达30亿港元

10:38

美元兑日元下跌0.4%至158.07

10:34

房地产板块异动拉升,信达地产2连板

10:19

高位人气股持续下挫,传智教育等多股跌停

10:19

围绕全民消防安全素质提升,七部门部署四项行动

10:17

煤炭板块表现活跃,郑州煤电涨停