给Google每年带来100亿美元增长的A/B测试是什么?

摘要: 在互联网的世界里没有常胜将军,经验与直觉都不是这里的游戏规则。唯快不破和不断试错的背后,其实是“数据说话”的思维。

最近,前Facebook工程师覃超一篇关于2010年到2015年Facebook改版网站首页历程的文章受到极大关注。按照他的记录,2012年,当时的Facebook产品副总裁带领一支公司内部顶尖高手组成的团队,历时大半年开发了新的网站首页,进行了重大的改版与更新。随后,Facebook对该首页进行了A/B测试:当测试到5%用户群的时候,各项数据指标都在下滑;当测试到12%用户群的时候,下滑趋势依旧明显。于是,Facebook不得不放弃了这支30余人团队近一年努力的结果。

A/B测试是个什么鬼?

A/B测试已经是一项成熟的测试、开发方法,被Google的开发团队普遍采用。业内人士告诉钛媒体记者,Google广告产品的每一个新改动也要经过一种严格的在线测试来验证效果,在确保搜索体验的同时提高广告的转化率,这种基于数据的互联网产品开发和运营,可以大幅度加速创新、改善用户体验,起到事半功倍的效果。前Google广告质量控制部门工程师王晔介绍,A/B测试优化每年能为Google带来100亿美元营收的增长。

简单来说,A/B测试就是对一个页面的A版本和B版本进行测试,统计哪个版本的点击率更高。最为常见的A/B测试形式叫做灰度测试,也就是对一个公司自有的互联网用户群进行1%、2%、5%、10%等规模的用户测试,然后选择测试效果最好的页面推广到全用户群。

实际上几乎所有成功的互联网公司,都不同程度地采用了A/B测试,用于网页的优化与点击率效果提升。王晔介绍说,Google的各个产品都有成百上千个不同的测试版本同时运行,试验数据决定了只有少数改动能最终上线,这些更好的改动可实现每月约2%的营收提升,最终达到20%的年化增长。

而Facebook的经历,更充分说明了在互联网的世界里没有常胜将军,经验与直觉都不是互联网世界的游戏规则。只有通过不断的测试和反复的数据分析,才能证明一个观点或判断是否正确。从Facebook的例子就可以看出,唯快不破和不断试错的背后,其实是“数据说话”的思维,A/B测试就是一个让数据说话的利器。

技术支撑与数据思维的跨界

A/B测试听起来很简单,但其实是技术支撑和数据思维相结合的跨界领域。

记者在硅谷采访了美国A/B测试创业公司Optimizely的产品经理Byron Jones,他介绍了A/B测试通用的五步法:分析、假设、构建测试、运行测试、效果评估。其中,分析、假设和构建测试属于数据分析阶段,运行测试及效果评估属于技术支撑范畴,这二者相互配合、相辅相承。

在数据分析方面,A/B测试主要对采样用户群进行数学假设:根据统计学原理与算法,找出最具有统计意义的采样用户群特点、规模、实验组数和次数等。在技术支撑方面,A/B测试主要基于大规模互联网流量分割技术,不同的网页针对不同的用户群进行划分,然后通过服务器和网络控制完成流量分割,达到向不同用户传送不同网页的目的。

在数据分析方面,还有一个非常有意思的辛普森悖论。形象的说,就是当向50%的女性用户推行某个促销手段时,销售获得了增加;当向50%的男性用户推行同样的促销手段时,销售也获得了增加;但当把这两个人群合并,再推行一样的促销手段时,销售反而下降了。因此,需要通过相关数学处理算法,尽量消除辛普森悖论。

A/B测试云服务,已成一个垂直创业方向

互联网公司的A/B测试大多都由内部团队负责,以Google为代表的规模化和专业化A/B测试逐渐成熟。随着互联网的高速发展,越来越多的企业需要开展互联网服务,全部采用自建A/B测试团队显然成本很高,于是就出现了基于SaaS模式的第三方专业化A/B测试公司。

有Google工程师背景的两个团队,分别都在做类似的服务类创业公司:其中一个,在美国创建了Optimizely公司,目前已经完成了C轮融资,公司成立五年来总共完成了1.45亿美元的融资。Optimizely的投资人包括著名的硅谷风投A16Z、Bain Capital Ventures、Salesforce Ventures等,该公司现有400多名员工,业务发展非常迅猛。

而另一个团队则回到中国,在去年创建了吆喝科技,这就是王晔的团队。王晔曾在清华和耶鲁读书的时候,参与过中国下一代互联网(CNGI)和网络APP流量优化(ALTO)等大型项目,在耶鲁、微软研究院以及NEC北美实验室参与过多项技术创新课题。2012年到2014年,王晔在美国Google总部的广告质量控制部门工作。2014年,他看到了国内互联网+的热潮后决定回国创业,把成熟的A/B测试技术以公有云的方式提供给国内企业和开发者。

吆喝科技的产品叫做AppAdhoc Optimizer,这是基于A/B测试的优化平台,于2015年4月全面上线,目前已经有100多家试用客户。吆喝科技支持试验流量动态控制、多变量组合试验、大量并行试验、针对特定人群的定向试验等,其SDK不仅支持Web(HTML5)端A/B测试,还支持原生移动APP(iOS、Android)端。吆喝科技目前的投资机构包括峰瑞资本、极客邦等。

2016年将成为互联网+行动的关键之年,无论传统企业的互联网服务,还是众多的O2O和电商创业公司,都可以通过A/B测试这样的专业工具,研究在线用户行为、提高运营效率,避免经验主义和直觉式思维的陷阱。

A/B测试告诉我们,互联网+时代“领导说了”不算数,“数据说话”才算数。(文/钛媒体. ITValue记者吴宁川 ,独家首发钛媒体)

本文系钛媒体原创,转载请注明出处、作者和本文链接
分享到:

第一时间获取TMT行业新鲜资讯和深度商业分析,请在微信公众账号中搜索「钛媒体」或者「taimeiti」,或用手机扫描左方二维码,即可获得钛媒体每日精华内容推送和最优搜索体验,并参与编辑活动。

吴宁川
吴宁川

专注于云计算、大数据和移动计算时代的商业变革。

评论(13

  • 往事如歌幸福 往事如歌幸福 2015-11-24 09:25 via weibo

    [咖啡][干杯][花][太阳][围脖][温暖帽子][手套]

    0
    0
    回复
  • 钛ptDCRQ 钛ptDCRQ 2015-11-24 02:05 via pc

    开头还挺像那么回事,我都准备好收藏之后仔细看了……结果后半部分话锋一转,就开始介绍吆喝科技了……真能吆喝……好软好软

    2
    0
    回复
  • 钛iYZNy5 钛iYZNy5 2015-11-23 20:06 via iphone

    0
    0
    回复
  • 青涩风雨紫云儿 青涩风雨紫云儿 2015-11-23 16:44 via weibo

    网站打不开,啥情况!吃惊

    0
    0
    回复
  • 钛iBiMid 钛iBiMid 回复钛icRbHc 2015-11-23 16:38 via ipad

    2
    0
    查看对话
    回复
  • 天涯过客葱 天涯过客葱 2015-11-23 16:26 via weibo

    [围观]

    0
    0
    回复
  • 疯人院18床 疯人院18床 2015-11-23 16:25 via android

    要回中国了,先热热身。

    1
    1
    回复
  • 疯人院18床 疯人院18床 2015-11-23 16:25 via android

    谷歌

    0
    1
    回复
  • 钛ieE2gS 钛ieE2gS 回复Samantha 2015-11-23 14:41 via iphone

    😬同感,这人老写软文

    1
    0
    查看对话
    回复
  • Samantha Samantha 2015-11-23 13:27 via iphone

    又来一篇软文,鉴定完毕

    2
    0
    回复

Oh! no

您是否确认要删除该条评论吗?

分享到微信朋友圈