喜马拉雅 PC端文章详情页顶部23-26

百度研究院的AI“剪辑师”上岗了

AI化身“剪刀手”,一试就知有没有。

图片来源@Unsplash

近日,百度研究院推出了一个“黑科技”平台VidPress,可以用AI一键完成短视频剪辑。这是百度研究院孵化的业内首个支撑通用型、能够大规模生产的智能视频合成平台。

据悉,用户仅需一键输入新闻的图文内容链接,其余工作可由VidPress平台自动完成。自动化完成的步骤包括智能化的聚合视频素材、生成解说词、进行语音合成和音视频对齐等工序。包括渲染导出在内,整套制作流程能够在9分钟以内完成,从发现热点到最终生成视频完成自动化。

该技术已经在百度旗下短视频平台好看视频上获得大量应用。根据好看视频使用数据, 目前生成一个清晰度为720p、时长2分钟左右的视频,所需时长的中位数为2.5分钟。平台每天可以生产500到1000条视频。百度AI合成短视频示意图(来源:百度)

百度AI合成短视频示意图(来源:百度)

百度研究院数据显示,VidPress所生成的视频播放完成率比好看视频的大盘高出15%,其中一些热门视频已经有了85万的播放量。

AI“剪刀手”如何诞生?

在具体的操作上,第一个环节是素材的收集整理。用户输入图文内容后, 例如输入某条新闻事件的链接,平台将基于NLP模型进行语义理解, 并通过主体模型聚合相关新闻素材,以及从同一主题相关新闻里抽取更多的素材及其语义表征,以此保证素材内容相关且丰富。

第二个环节,是语音生成解说词,以及进行素材的深度挖掘与整理。

一方面,平台基于多种语言模型对原文进行处理,自动生成一篇字数符合要求且适合视频呈现的解说词,并通过百度文字转音频服务(TTS)合成解说词语音。

与此同时, 平台会根据对原文的理解, 通过自有视频库和百度全网搜索,对最新最适合呈现的内容进行聚合。利用人脸识别、物体识别、视频内容理解等计算机视觉服务技术进行解析,完成视频素材的剪切组合。

上述两个步骤完成后,平台将基于解说词的音轨时间轴和所聚合的媒体片段,进入音视频对齐剪辑过程。

此处应用的时间轴对齐算法,能够选取出文本中的兴趣点, 再将媒体片段与兴趣点进行相关度打分,将优质媒体片段优先放入时间轴,希望以此引发用户的兴趣。在时间轴生成完毕后,数据将转交给渲染器生成完整视频,整合过程耗时可以保证在9分钟以内。

“一键式“操作行不行?

对于AI剪视频功能,钛媒体也在第一时间进行了体验。

如图,用户需要输入文章链接,链接目前仅支持百家号文章,建议是娱乐类内容。用户可以自行选择发音类型和视频时长。视频生成界面

图文生成视频界面

钛媒体以《谁来保卫我们的白衣天使?》一文为例进行了体验。以下为百度AI生成的视频新闻:

如视频所示,视频解说词由AI自动生成,虽然内容上有些不连贯,但基本选取了文章中的关键内容,能够看出文章的大体脉络。

在使用体验上,该产品更多针对的是新媒体小白用户,可以实现“傻瓜式”操作,相对比较友好。新闻体裁上,该产品更适合快讯型视频新闻,可以一定程度上减少人力和时间成本。

但另一方面,由于强调AI全自动剪辑,全部视频内容均由AI自动组合,用户无法对内容进行修改和编辑,因此也存在很大的局限性。如果在视频生成前,VidPress可以给用户权限进行修改和编辑,那在剪辑产品中可能会更有竞争力。

除此以外,素材的版权问题也存在隐忧。该平台抓取的素材来源于百度自有视频库和百度搜索引擎,而搜索引擎里的内容百度并非都有版权。特别是在用户提供的链接内容信息量不够时,AI就会更依赖外部抓取,其中不仅有素材,还有成品。

在钛媒体体验过程中,也出现了AI自动抓取到一些视频自媒体原创作品的情况。显然,想要做全自动化的AI视频剪辑,版权问题也不可小觑。

当前,VidPress仍然是个基础版。百度方面表示,AI新闻视频还存在很多可能性。例如,可以针对不同垂直分类或投放渠道进行定制合成,又或者是针对用户特点进行视频定制等等。

(本文首发钛媒体,作者/芦依,编辑/宇航,钛媒体编辑Yitao对本文亦有贡献)

本文系作者 芦依 授权钛媒体发表,并经钛媒体编辑,转载请注明出处、作者和本文链接
本内容来源于钛媒体钛度号,文章内容仅供参考、交流、学习,不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里

敬原创,有钛度,得赞赏

赞赏支持
发表评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容

快报

更多

2024-04-24 23:01

大商所、郑商所夜盘收盘,纯碱涨超3%

2024-04-24 22:58

卢卡申科当选为白俄罗斯第七届全国人民大会主席

2024-04-24 22:57

江西省气象台发布冰雹橙色预警信号

2024-04-24 22:54

中拉航天合作论坛通过《武汉宣言》

2024-04-24 22:47

现货铝价格刷新22个月新高,原料铝企业订单旺盛满负荷生产

2024-04-24 22:46

比特币回落至65000美元/枚下方,日内跌1.92%

2024-04-24 22:45

标普500指数转跌,纳斯达克100指数涨幅收窄至0.5%

2024-04-24 22:45

特斯拉股价一度飙升16%,分析师称业绩没有担心那么糟

2024-04-24 22:39

王厚琼新任前海开源基金副总经理

2024-04-24 22:38

美油、布油短线均走高0.5美元,现分别报83.17美元/桶和87.54美元/桶

2024-04-24 22:37

中信博:第一季度归母净利润1.54亿元,同比增长297.18%

2024-04-24 22:35

新东方美股盘中一度跌超18%,创2月份以来盘中新低,现跌超11%

2024-04-24 22:34

美国至4月19日当周EIA战略石油储备库存 79.3万桶,前值64.8万桶

2024-04-24 22:31

半导体板块继续走强:聪链集团涨超5%,恩智浦涨超4%

2024-04-24 22:24

驻日本使馆发言人就福岛第一核电站发生设备供电系统部分停止事故答记者问

2024-04-24 22:22

德州德城出台房地产新政,2024年一年级上学暂不做户籍要求

2024-04-24 22:18

美国国债10年期至30年期收益率持续攀升

2024-04-24 22:17

特斯拉涨幅扩大至16%,创最近三年最大盘中涨幅

2024-04-24 22:16

埃及企业期待参加第七届进博会

2024-04-24 22:11

深交所:终止对维赛新材首次公开发行股票并在主板上市审核

扫描下载App