第一时间get全球最新科技知识与数据
下载钛媒体客户端

扫描下载App

隐藏的学霸之魂:Zero-Shot Learning如何打破“零起点”的封印?

摘要: 零样本学习zero-shot learning,是最具挑战的机器识别方法之一,从原理上来说,ZSL就是让计算机具备人类的推理能力,来识别出一个从未见过的新事物。

图片来源@视觉中国

图片来源@视觉中国

文|脑极体

2018年还剩不到10天,回顾一下今年CV(Computer Vision,计算机视觉)领域的进展,在技术上并没有迎来什么革命性的新突破。

几个头部企业的业务重点,除了强化现有算法的精度,更多还是将精力投掷在商业布局上。

似乎每家公司都在为这个看得见的“赛点”争分夺秒地发掘新应用场景。

不过,还是有很多新技术的进步值得我们专门用一篇文章来说一说,比如今天要讲的Zero-Shot Learning。

毕竟,当场景被开发到极限,大家就又回到了技术的起跑线。

什么是ZSL?

零样本学习zero-shot learning,是最具挑战的机器识别方法之一。2009年,Lampert 等人提出了Animals with Attributes数据集和经典的基于属性学习的算法,开始让这一算法引起广泛关注。

之所以如此重要,因为其迥异于传统图像识别任务的思考方式。

从原理上来说,ZSL就是让计算机具备人类的推理能力,来识别出一个从未见过的新事物。

举个例子,我们告诉一个从没见过斑马的小朋友:“斑马是一种长得像马,身上有黑白色条纹的动物”,他就可以很轻松地在动物园里找出来哪个是斑马。

可是,在传统的图像识别算法中,要想让机器认出“斑马”,往往需要给机器投喂足够规模的“斑马”样本才有可能。而且,利用“斑马”训练出来的分类器,就无法识别其他物种。

但是ZSL就可以做到,一次学习都没有,只凭特征描述就识别出新事物,这无疑离人类智力又近了一步。

那么,这种“天秀”到底是怎么工作的?

简单说的话,就是利用高维语义特征代替样本的低维特征,使得训练出来的模型具有迁移性。

比如斑马的高维语义就是“马的外形,熊猫的颜色,老虎的斑纹”,尽管缺乏更多细节,但这些高位予以已经足够对“斑马”进行分类,从而让机器成功预测出来。

这就解决了图像识别长久以来的问题:如果一个事物从来没有在现有数据集中出现过,机器应该如何学习和识别它。

听起来是不是很爽很智能的样子,实际上也确实如此!

ZSL的“优越感”来自哪里?

在CV领域的顶会CVPR 2018 会议中,一个关于使用鉴别性特征学习零样本识别的论文,被认为代表了该领域当前的最佳水平。

之所以受到如此重视,主要源于近年来零样本学习(ZSL)在目标识别任务中的大显身手。

由于ZSL所挑战的现实情境前所未有地苛刻,使其具备了影响其他图像识别效果的关键能力。

现有识别技术大多集中于监督学习,所以需要不断推出更大的数据集,谷歌曾介绍说他们在用300Million的3D图片进行训练。而且,每个领域还需要各自的数据集。

这种情况下,全部进行数据标注的工作量也变得很大,很多新生事物更是想标注都无从谈起。这样在部署端的效率和成本就成了产业的“不可承受之重”。

那怎么办呢?科研人员只好努力让机器学会“花更少的钱,办更多的事”。

以腾讯AI Lab的研究为例,其“Diverse Image Annotation”,就是充分利用标签之间的语义关系,用少量多样性标签来表达尽可能多的图像信息,实现自动标注。

ZSL则更为极端,要在一个样本都没有的前提下“空手套白狼”,这种极限挑战,就给技术界带来了新的活力。

首先,ZSL降低现有算法对数据集的依赖和标注的压力,有利于提升机器视觉技术的亲和力及部署效率;

另外,现在产业端对缩减算力需求的呼声日渐高涨,ZSL清晰有效地指向了可行的解决方案;

更重要的是,ZSL解决的不仅仅是视觉问题,更与NLP的发展相辅相成。根据模糊高维的语义描述去进行识别,对机器的要求不仅仅是简单分类,还要理解特征一些人类的高级知识,比如一种艺术作品的风格、一种特殊的情绪等。找到这种语义上的联系,将机器视觉与NLP技术联合在一起解决问题,ZSL激发的技术想象很是有趣。

都说“数据是AI的燃料”,那没有燃料是不是就注定GG? ZSL表示可以续命,就是这么得瑟!

从0到1:ZSL和OSL有何不同?

这时,想必很多关注技术趋势的同学可能已经发现了,零样本学习与少样本学习(OSL,One-Shot Learning)在最终的应用成果上,似乎作用很相近啊。

比如说,都指向了高层次的认知问题。只要给OSL一张“斑马”的图片,它就能很高效地将它从其他动物中鉴别出来。背后靠的也是从很少的标签中学习、分类和推理的能力。

在应用端,因为都不依赖庞大的数据集,两种模型都能帮助产业的AI识别实现降本增效。

按理说,既然零样本是少样本的子集,那么是不是可以直接套用ZSL的模型来解决OSL的问题呢?

其实是可以的。毕竟“从没见过”与“见过一次”相比,“从0到1”的技术难度要求更高。

不过,二者并不能轻易地被替代或划等号,各自的研究都很有意义。

最大的区别在于, ZSL挑战的是在相似语义中完成知识迁移,而OSL需要解决的是语义补全的能力,即如何利用唯一的样本学习到更多的特征。

在实际应用中,关键能力的不同,赋予了它们不同的“必杀技”。

比草原广阔:ZSL的应用场景

那么,ZSL到底能干些什么呢?

前面我们说过,目前产业界应用深度学习最大的痛点,无非是爱上一匹野马 (泛化能力),可是家里没有草原 (高质量数据集) 。也并没有企业会为了几匹野马,就不计成本地承包所有草原。

而ZSL能够提供的想象空间,就比“草原”大得多了:

1.图像自动标注、处理。

人工标注代价高、速度慢,一旦ZSL被应用,其语义理解和迁移能力,借助知识图谱的辅助(如属性、文本描述等),把不同的视觉联合在一起进行系统观察,可以自动完成数据的识别和标注工作,而且结果的准确性不低于人工。

2.未知或生僻语种翻译。

在电影《降临》中,美国的语言学家通过艰难地特征推断,完成了与外星人的沟通。未来,这件事可以由机器来代劳。比如说一些样本很少甚至早已不可考的语言(比如乌伯克语),通过ZSL系统就可以自动完成翻译过程,实现宇宙的love&peace。

3.新类别的图像合成。

ZSL的学习目标是识别新事物,一些新类别的图像合成,完全可以通过ZSL被创造出来。比如还原已经灭绝的物种。也许未来你在《侏罗纪》系列中看到的恐龙,就是机器“画”出来的。

4.视频识别。

目前,越来越多的数据是视觉与文本信号共同出现,比如综合性视频网站,视频、音频、字幕、弹幕、评论等多模态信息都有,想要挖掘它们之间的相关性,就依赖于ZSL的宏观预测能力。

总而言之,让机器能够像人一样凭借“只言片语”做出推理和判断,是一个很有用的功能。

从入门到放弃:ZSL的问题依然顽固

既然这么牛,为什么ZSL一直不温不火呢?至少没有像其他深度学习算法一样成为“群宠”。主要原因还是在于几个“牛皮癣式”的顽疾:

一是ZSL的效果依赖于相似模态的信息。在训练时如果训练集和测试集的类别相差太大,比如一个里面全是动物,另一个里面全是家居,这时让ZSL分析二者的映射关系就太困难了,就很容易出现属性漂移的“强偏”问题,难以预测出正确的结果,导致ZSL的性能表现大打折扣。

二是缺乏足量的专业定义和描述。ZSL虽然不需要大量的图像数据集,但需要进行特征描述。这方面人工比机器分类效果更好。但目前还缺乏足够的专业人员进行协助,NLP自身的发展也尚不足以满足ZSL的需要,使得整体进程相对缓慢。

这些桎梏不解决,ZSL即便具备从零起点到学霸的潜力,也只能入宝山而空回,被不如它的算法抢走工作机会。

回顾一年来CV技术的产业化进程,算得上是红红火火恍恍惚惚。

我们可以想象,未来一两年,从个人智能终端到城市的眼睛,机器视觉将无处不在。

一面是应用场景百花齐放异常火热,一面像ZSL这样的潜力股又处在相对停滞的状态,核心问题都没能取得突破性的进展。

在新年这样承前启后的阶段,或许是时候给ZSL许一个未来了。

更多精彩内容,关注钛媒体微信号(ID:taimeiti),或者下载钛媒体App

本文系作者 脑极体 授权钛媒体发表,并经钛媒体编辑,转载请注明出处、作者和本文链接
分享到:

第一时间获取TMT行业新鲜资讯和深度商业分析,请在微信公众账号中搜索「钛媒体」或者「taimeiti」,或用手机扫描左方二维码,即可获得钛媒体每日精华内容推送和最优搜索体验,并参与编辑活动。

脑极体
脑极体

写让你脑洞大开且能看懂的人工智能、流媒体、海外科技

评论(0

Oh! no

您是否确认要删除该条评论吗?

分享到微信朋友圈