AI 能创建人物数字模型,你听到的奥巴马演讲可能是假的

摘要: 研究小组用一个神经网络来分析视频的数百万帧影像,以判断奥巴马在讲话时面部的变化,比如他的嘴唇、牙齿,甚至是嘴巴和下巴周围的皱纹。

研究人员介绍说,这项工作将有助于虚拟现实应用程序和加强现实应用程序生成人物的数字模型。

早前,华盛顿大学的计算机科学家们表示,通过对人物图像的分析,不论是像汤姆汉克斯和施瓦辛格这样的名人,还是像乔治布什和奥巴马这样的公众人物,他们都能够生成人物的数字模型。这项工作暗示着,只要网络上有大量的人物照片,创建人物数字模型将会变得非常简单。

研究者们之所以选择奥巴马作为研究对象,是因为网上有很多奥巴马演讲的高清视频。研究小组用一个神经网络来分析视频的数百万帧影像,以判断奥巴马在讲话时面部的变化,比如他的嘴唇、牙齿,甚至是嘴巴和下巴周围的皱纹。

在人工神经网络中,被称为“人工神经元”的组件实际上是输入的数据。这些组件共同协作来解决类似人脸识别和语音识别这样的问题。这个神经网络能够通过改变各个神经元间的关系模式,进而改变神经元的互动方式。经过不断的反复,这个神经网络最终就能选择出一种最有佳的解决方案——一个模仿人类大脑的人工智能战略模式。

在新的研究中,神经网络通过对音频和视频的分析,了解与声音匹配的各种口型。研究者们将音频与视频的原声文件对比分析,然后选取与音频匹配的口型,将它们嫁接到新视频中。从本质上来说,研究者们是将奥巴马多年来讲话的口型合成为一个新视频。

专家们表示,通过拍摄人们说话的视频,然后对声音和视频进行分析,进而总结出各种口型以及与之匹配的各种声音,这样的研究方式不仅成本高,而且非常单调、耗时。相反,这个神经网络能够通过对网上大量的视频文件的分析和研究,帮助我们总结出口型以及与之匹配的声音。

此项研究合作者、华盛顿大学的Ira Kemelmacher-Shlizerman指出,

这项新技术的一个潜在应用是完善视频会议。视频会议的视频内容可能会断断续续或不够清晰,也可能被冻结,但音频内容一般不会出现这样的情况。

因此,将来的视频会议可能会直接传输人们说话的音频,然后利用这个软件将他们说话的声音与他们可能出现的口型合成,形成一个虚拟的会议视频。Kemelmacher-Shlizerman表示,这项技术还能帮助人们在虚拟现实应用程序或加强现实应用程序中与数字虚拟人物进行交谈。

研究专家们指出他们合成的视频现在来说还不够完美。举例来说,当奥巴马在目标视频中稍微转过了脸,他的脸的3D模型就会产生缺陷,这也将导致他的部分嘴巴超出脸的范围,与背景相重叠。

研究团队表示他们的工作虽然可以模仿人的说话方式,但并不能模仿出人的感情。所以合成视频中的奥巴马的面部表情可能会出现与场合不相称的情况,比如在严肃的演讲中表情过于高兴。

但是他们也表明,如果他们的神经网络能够从音频中预测人物的情绪状态,进而生成相应的视频,那么这将是非常有趣的研究成果。

研究者们在合成视频时,会尽量避免在新视频中出现奥巴马不曾涉及过的言论。研究的主要研究员,同时也是华盛顿大学的计算机科学家的Supasorn Suwajanakorn表示,这样的“假视频”是可能即将发生的。

然而,这项新研究同时也提出了未来检测“假视频”的方法。例如,研究人员进行的视频操作会模糊人物的嘴巴和牙齿。Suwajanakorn说:“人的肉眼可能很难发现这些细微的变化,但是将嘴部模糊部分与视频中其余部分作对比,程序能够轻易地识别出。”

研究者们推测,在某种程度上,口型与说话方式之间的联系可能对所有人都是普遍通用的。这就表明,经奥巴马和其他公众人物的视频训练的神经网络能够适用于很多不同的普通人。 

【钛媒体作者:图普科技,微信公众号tuputech】

更多精彩内容,关注钛媒体微信号(ID:taimeiti),或者下载钛媒体App

本文系作者 图普科技 授权钛媒体发表,并经钛媒体编辑,转载请注明出处、作者和本文链接
分享到:

第一时间获取TMT行业新鲜资讯和深度商业分析,请在微信公众账号中搜索「钛媒体」或者「taimeiti」,或用手机扫描左方二维码,即可获得钛媒体每日精华内容推送和最优搜索体验,并参与编辑活动。

图普科技
图普科技

图普科技是一家将图像识别技术应用于企业服务领域的科技公司,创新打造了国内最大最全面的图像识别云平台。我们为企业提供智能审核、图片增值、图像搜索、深度定制服务。

评论(13

  • 图普科技 图普科技 回复电视节目创新引擎 2017-07-26 16:59 via pc

    你们在做吗?请留下你的联系方式,必须提前观瞻!!!!

    0
    0
    查看对话
    回复
  • 图普科技 图普科技 回复自然醒 2017-07-26 16:57 via pc

    奥巴马不会被玩坏,明明是在为人类的进步做贡献。致敬

    0
    0
    查看对话
    回复
  • 自然醒 自然醒 2017-07-20 20:12 via pc

    奥巴马要被玩坏了。以后AI肯定能极大的改变我们的生活方式,例如咪咕灵犀,siri这样的助手未来能帮我们解决更多的问题。

    0
    0
    回复
  • 沈国定 沈国定 2017-07-20 14:51 via weibo

    微笑

    0
    0
    回复
  • 给儿子起名 给儿子起名 2017-07-20 13:46 via weibo

    真闲

    0
    0
    回复
  • 电视节目创新引擎 电视节目创新引擎 2017-07-20 13:07 via weibo

    一档完全由AI生成的人物主演的节目,要不了多久就会出现的。什么替身、抠像都弱爆了。AI人物让他干啥就干啥,名人们只需要做自己IP的维护就可以了,都不需要自己出演。革命啊!

    0
    0
    回复
  • 心里还未走完的路 心里还未走完的路 2017-07-20 13:00 via weibo

    搞事情,[坏笑]

    0
    0
    回复
  • Xinsnanhi Xinsnanhi 2017-07-20 12:54 via weibo

    这甄别模式666,暂且佩服而评论无语,因为这帧率摄像有无真假也无兴趣甄别。

    0
    0
    回复
  • 过隙录 过隙录 2017-07-20 12:48 via weibo

    呵呵,还能相信誰

    0
    0
    回复
  • 贼帅的女装胖虎 贼帅的女装胖虎 2017-07-20 12:43 via weibo

    假马当作活马看 没毛病

    0
    0
    回复

Oh! no

您是否确认要删除该条评论吗?

分享到微信朋友圈