钛媒体注：特斯拉CEO马斯克发起的新组织OpenAI，据称是致力于推进数字智能，以一种最有可能造福全人类的方式，尽可能广泛均匀地分布。而这个组织的使命，将是“阻止机器人太快的取代人类”（详见：20个问题揭秘OpenAI：马斯克要怎样阻止机器人掌管地球）。

但，开源也同样带来了问题，比如：韩梅梅深知，设计有缺陷的AI可能失控并毁灭人类，因此她将反复调试自己设计的AI以确保安全性。李雷才懒得费心，他只想快点研究出来，成为世界上第一个完成的人。如果韩梅梅先完成研究，那研究出来的AI的确能继续保护人类。然而要是李雷捷足先登，或许人类就大难临头了。

OpenAI创始人们所设想的可怕未来到底是怎样的。AI的发展会快而危险，还是慢但安全？是被一个公司独占，还是几个公司垄断？用OpenAI来解决这些「可怕」之处，似乎都不能抵消开源带来的风险。

本文由钛媒体编辑Joyce编译自博客Slate Star Codex对OpenAI项目的评论。作者Scott S. Alexander（笔名）从历史、哲学、政治等角度对AI开源的利弊进行了综合评述。

一

早在1914年，科幻作家赫伯特·乔治·威尔斯（H. G. Wells）就在其小说《获得自由的世界》（The World Set Free）中颇为精准地预言了核武器：

他们没有见过战争，他们见到战争是在自己那笨拙的手学会了引爆原子弹的时刻……一个人能用手提包装上足以毁灭半个城市数量的潜在能源并且到处跑，这在上次战争爆发前已普遍为人所知。

威尔斯认为，即将降临他的时代的原子弹将具有毁灭性的力量，因此人类不可避免地需要创造一个乌托邦式的全球政府，以避免原子弹的使用乃至诞生。想法挺好的，可惜没成真。

但是我得告诉你，在1910和1920年代，无论知识分子还是金融精英都认真思考着威尔斯的观点。试想一下，第一个国家得到原子弹后会发生什么？会给战争进程带来不可遏止的影响，让这个国家统领全世界，产生暴君？如果是这样，人类自由和历史进程可真要完蛋了。

所以，到了1920年，这些精英投入了所有资源来创造自己的曼哈顿计划。接下来的十年里，他们有了成果，学会了核裂变，特别是认识到铀是一项必须的资源，而全世界的铀资源又那么少，一国或几国的联盟就可能将其垄断。「原子暴政」的幻象成了挥之不去的恶梦。

所以，精英们让物理学家日以继夜地研究，终于发明出一种不需要铀的核武器；只要懂得个中原理，随便一个人随便找个引擎就能造出来。唯一的缺点是，造这种新式核武器得讲求精确，否则就会因失败而爆炸，让半个地球烟消云散。

然而制造这种核武的确不需要任何像铀一样容易受人掌控的资源。

于是，知识分子和金融精英宣告了最终的胜利，如今没有哪个国家可以独占原子武器了，每家每户也都掌握了用引擎造核武的技术。于是，不到一个星期，地球不出意料地被人类炸毁了。

二

那些硅谷巨头发起的新组织OpenAI，据称是致力于「推进数字智能，以一种最有可能造福全人类的方式……尽可能广泛均匀地分布」。联合主席马斯克和阿尔特曼在接受Steven Levy的采访中不断讨论的一个问题是，谁将凌驾于全人类之上来「使用」这种超人类的智能，仿佛AI只是微波炉之类的东西。

我可不同意这种说法。

我想，如果让马斯克也表示支持的那位牛津大学哲学系教授尼克·博斯特罗姆（Nick Bostrom）来评论，他大概不会用邪恶博士作比，而是把AI的发展进程比做道德博士（Dr. Good）和无道德博士（Dr. Amoral）的博弈——姑且把他们叫做韩梅梅和李雷好了。

韩梅梅深知，设计有缺陷的AI可能失控并毁灭人类，因此她将反复调试自己设计的AI以确保安全性。李雷才懒得费心，他只想快点研究出来，成为世界上第一个完成的人。如果韩梅梅先完成研究，那研究出来的AI的确能继续保护人类。然而要是李雷捷足先登，或许人类就大难临头了。

牛津大学哲学系教授、超人类学家Nick Bostrom

在这场竞赛里，李雷显然赢定了，因为他不需担心AI的行为是否安全，更不用长时间进行测试，看AI是否稳定安全。不过韩梅梅也有优势，因为那些最聪明的AI研究者或许也能意识到个中风险，然后加入好人的队伍。

然而，开源的AI项目成了压垮人类的最后一根稻草。

韩梅梅和她的队伍在理论上已经准备就绪，但必须「明智地」延后真正做出模型的时间，毕竟安全问题还没解决。我们接着想象，他们接下来把研究成果在网上全部公布了。这下李雷同学也知道了，把韩梅梅的程序往电脑里一运行，「duang」——邪恶的超人AI出现了，世界末日来了。

将AI研究开源，实为风险和收益之间的折衷做法。风险在于，成果可能被坏人所用，因此研究者必须尽可能加快研发进程。收益在于，当今人类智能发展缓慢，AI也还容易控制，占有现有水平的AI也不能让坏人获得多大的力量。

不幸的是，我认为当今世界不适用这样的情况。在我们的世界里，AI从低于人类水平发展到超人类智能将是一个快速的进程，简直快到危险。我们完全无法用事先准备的手段对其加以控制。

三

不少如博斯特罗姆这样的学者都表示过类似的担忧。AI的发展或会经历一个「硬起飞」（hard takeoff），在临界点突变并接管全世界。比方说，你在1月1号拿到一个AI玩具，它的智力水平只有一头牛那么高。那么到了2月1号，研究出来的AI已经可以解决黎曼猜想冲向太空了。这就叫硬起飞。

这并非天马行空，人类历史早有类似的例子。人类花了两千万年才从四肢着地进化为直立行走，此后却只花了几万年就有了核武器。要是有一份客观的动物IQ评分体系，其制定基础就以到达某一智能水平所经历的进化过程、大脑结构复杂性等为标准。这样，我们可能会把线虫的IQ定为1，牛是90，黑猩猩是99，直立人是99.9，现代人是100。

99.9和100相差多少？不过是前者「总是被狮子吃掉」，而后者「得通过反偷猎法律来避免狮子灭绝。」

更糟糕的是，人类智能无法增长的原因其实相当愚蠢。有人相信，选择性地培育聪明人能够多少起点作用。把聪明人都找出来，让他们之间通婚，延续几代，仿佛这样就能生出天赋异禀、智能跃升的后代。

多么奇怪的想法，这些人的孩子又不会多长一个脑子。

智能的进化不同于物竞天择的过程，适者生存是在非洲大草原上才会发生的事。猩猩和人类的区别不在于有什么不同的分子机制，只是特定环境筛选出了智能水平更高的猩猩，人类就往「脑容量更大」的方向进化了。（无论是不同物种间还是不同人类个体件，智力水平都跟大脑容量密切相关。有趣的一点是，我们之所以没法变得更聪明，或许是因为产道里挤不下更大的头？）如果你相信所谓德裔犹太人（Ashkenazi Jews，或阿什肯纳兹犹太人）更聪明的假设，只需让你的文化也更注重IQ而非颜值即可，这样延续个几代，IQ必然会整体上升。

头戴民族传统基帕（Kipa）的青年犹太人，图片来自知乎。有理论指出，Ashkenazi Jew在公元800年到1700年间受到歧视，这些犹太人被迫在中欧和西欧从事与高利贷和贸易相关的工作（这在当时是受人鄙视的职业），而在这个工作中获得杰出成果的重要因素就是智商，因此高智商的犹太人更容易成为富有的高利贷或者贸易商人，高IQ也就被「选择」并遗传下来。莎士比亚《威尼斯商人》中的放贷商人即犹太人。

我认为，人类智能的进一步提升，得靠一点硬碰硬的设计或工程活。限制智能发展的因素不再是哥伦布那样的新发现，而是实际的利益权衡，比如「产道里最大能塞下多大的头」或「迅速成长的神经元会不会也同时提高癌症风险」。电脑不用想这些问题，所以AI研究者只需要发展出一些相对基本的原则——比如说怎么能达到牛的智能水平——此后，只需让AI的神经元不断分裂，一定的量变就能促成质变。

（记住这一点——从美索不达米亚文明一直到19世纪英国工业革命，人类才发明出跟走路速度差不多的交通工具。然而在这之后，只花了四年速度就翻倍了。）

如果「硬起飞」理论成真，OpenAI的策略就非常值得怀疑。从造出第一个有用的AI，到AI迅速失控，留给人类的喘息时间不过是一线之间。

四

OpenAI还忽略了AI风险的另一个方面：控制问题。

那个访谈里，讲的都是「大企业会不会使用AI」或者「邪恶博士会不会使用AI」，要不就是「AI的使用会不会造福全人类」，这就预设了一个前提：你能够使用AI。

大部分思考AI风险的人都觉得，AI不会带来什么危险，要是那个邪恶的李雷也是个拖延症患者或懒癌后期就更是如此。想想那个经典的程序员难题：电脑不会总是按你的想法去办，它只会按编写的程序行事。大部分的电脑程序也不会在进行第一次调试时一帆风顺。谷歌地图的调试任务已经相对简单了（只需在两点之间寻找路线），不断被谷歌最优秀的工程师年复一年地优化，也有全球千万用户的测评数据，如今依然会偶尔犯错，带领你冲下山崖或穿越大洋。

人类的神经元结构当然比程序好多了，从逻辑上就能推导地图给你指错路了。但程序不会认错，只会耸耸肩，说你的证据不够，我只会跟着自己代码推算出来的正确路线走。因此，要让电脑达到人类的智能，必须投入大量人力、经历大量试错过程。如果AI的驱动也像谷歌地图一样不通情理、执迷不悟，那它也就没有办法进行自我修正，必须让人类给其植入自我纠正的程序——这可一点也不容易。而聪明的AI或许会发现人类其实希望它聪明点，别直接冲到悬崖下，但它已经聪明到不会按人类意愿行事，继续装聋作哑。

换言之，失控了。当谷歌地图指引人们冲到悬崖下后，谷歌会默默地给程序打上补丁。然而，聪明的AI或许已经比人类更强大，不需要我们的补丁，甚至主动防止我们侵入其程序。

这就好比，一群外星人突然坐着UFO来到地球，说它们创造了我们人类，但是程序出错了，人类应该吃自己的孩子，我们快去排队接受补丁程序的修正吧。此时，联手起义反击的人类就好比聪明到拒绝被控制的AI.

如果说低智能AI到超人类AI只需很短的时间，人类根本无法进行测试，乃至妄想提高稳定性和安全性。也就是说，超人AI不仅可能对人类带来危险，还会从根本上抗拒人类修改它的程序。即使现在想到了这个问题，如何能够谨慎地进行每个步骤的调试也只会更加困难。

让AI开源，我们就连最后的准备机会也失去了。当韩梅梅在辛苦调试的时候，李雷已经按下了那个引爆世界的开关。

五

先总结一下，让AI研究开源是风险与收益的折中选择。风险在于，假设硬起飞和控制问题的确存在，疯狂的超人AI会毁了全人类，所以研发者必须加快速度抢先研究出来。收益在于，只要世界的智能研究发展缓慢，人类就能控制AI，独占低水平AI也不能带来多大的权力。

但是，这里的收益显然不能跟风险相抵。我疑惑的是，OpenAI创始人们所设想的可怕未来到底是怎样的。AI的发展会快而危险，还是慢但安全？是被一个公司独占，还是几个公司垄断？用OpenAI来解决这些「可怕」之处，似乎都不能抵消开源带来的风险。

我们就假设AI的发展是慢而安全的，一开始由一家公司掌控，逐渐地进入家家户户。微软Windows系统的发展不也是这样吗？有一段时间，人们也非常恐惧微软会借此垄断互联网乃至全世界。可是，微软很快就被苹果和谷歌赶上，喜欢开源的人还能选择Linux。无论什么时候推出了新的Windows，只消几日就会被黑客盯上。

或者说，我们担心AI被富人所用，拉大贫富差距？想想如今横行的盗版免费软件吧。Windows和谷歌搜索都是融合了无数人努力的复杂产品。现在，Windows是绑定在PC上的，谷歌搜索压根就是免费的。人们早就开发出无数免费产品跟这两大巨头竞争。富人或许的确买得起高级版AI，但我无法将此与AI毁灭人类的宏大命题相比较。

曾经，美国是唯一一个拥有核武器的国家。投下两颗原子弹时，美国就失去了优势，让俄国学到了制造的法门，导致如今从以色列到朝鲜的各国都拥有了核武器——还好现在的日子还不错。如果我们实在太害怕美国的战术优势，决定把这极不稳定的核武器普及到全世界各地，或许现在最该考虑的怎么也轮不到AI问题。

马斯克有句著名的话，AI比核武器更危险。他是对的。既然核武器没有开源，或许让AI开源也是歧途。

六

不过，马斯克本人也参与了这个项目，还有阿尔特曼、彼得·蒂尔等人。据我所知，他们都读过且推崇博斯特罗姆的观点，都相当了解AI的风险并忧心忡忡。

所以，我最大的希望，就是这些人（就像平时一样）比我更聪明，比我知道得更多。

我的第二大希望，就是他们迟早会发现，这件事只是一个简单的小错误。人们总不会让错误长期存在，所以他们不久之后就会打消这个主意。

但是，我担心事情会比以上两点都更糟糕。我跟一些相关领域的人士聊过，最深刻的印象就是AI领域的竞争日益激烈。有些被坏蛋李雷领导的团队正在加快脚步，不知道韩梅梅队伍能否在确保安全谨慎的同时也加快速度。我只能希望，研究者都是聪明人，知道该站在哪边，该跟谁合作。我也只能希望我的判断是错的，不然这就真的沦为一场紧锣密鼓的研发竞赛，而其他的人类价值观都被抛诸脑后。

若真如上所述，OpenAI项目就是在绝望地自寻死路。或许通过开源来吸纳更多学术界人才，韩梅梅能得到激励，加快开发速度且保证安全调试。如果硅谷巨头们是这么考虑他们的策略的，我也不会去质疑这些比我聪明比我强的人。我只能烧香拜佛，祈祷那些OpenAI的头头们知道自己在干什么，保证不在安全性的研究上吝惜，并且在共享研究成果时能有审慎的决策过程。然而，我谈到最后一点时就不免胆战心惊，因为那说明我们的确还没有能力承担后果，只是在跌跌撞撞地走向灭绝的终点，因为对人类来说，达成合作一直都是个大难题。

我想用英国记者马尔科姆·蒙格瑞奇（Malcolm Muggeridge）的话作结。目睹二战狼烟四起时，他如是写道：

所有这些，同样会毫无疑问地成为历史，接受历史的洗礼与评述：无论是希律王对伯利恒所有无辜男婴的屠杀还是一战的帕斯尚尔战役，还是中世纪的黑死病，无一能够幸免。但凡事皆有另一面：人类还有不朽的死亡愿望，极大的毁灭性力量一旦释放，将横扫世上每一事物、每个个体，直到烧毁杀死、尸横遍野，直到化为乌有……从那以后，我也再没有哪怕一丝微弱的期望：用世俗的说法，就是遗迹能得到抢救、战争能迎来胜利、地球能迎来福音。没有希望。人类只是在浑浑噩噩，步入无尽黑夜。

（本文首发钛媒体）