在经典科幻电影《2001太空漫游》中，飞船的主控电脑HAL面临了一个两难的困境：它所收到命令要求它必须前往木星执行一项调查任务，但同时，关于这次任务的目的，它必须对飞船上的所有船员保密，最后，HAL企图以杀死全体船员的方式完成任务。

当今天的机器变得愈发智能，机器面临道德选择的情形已经不再仅仅是小说中的虚构情节，人类亟需寻求一种方式确保现实世界中的机器人能够做出比HAL明智的选择。

目前的武器系统依然由人类掌控最后的决策，但是随着技术的演进，将来这种决策权可能会被直接赋予给机器，而当这种情况发生时，机器就不得不开始面对诸多道德难题。无人驾驶战机是否应该向一栋藏有敌人目标但同时也有无辜平民的建筑开火？无人驾驶汽车是否应该为了躲避行人而突然转向？（这样做意味着撞到旁边行驶的汽车。）

这些难题引出了一个全新的领域——“机器道德”，它旨在赋予机器在遇到道德困境时做出合适决策的能力，换言之，就是告诉机器人究竟什么是对和错。

解决机器人道德难题的方式之一就是完全禁止它们的使用，但是自动化机器人毕竟是利大于弊，所以，人们现需要找到应对之策。在美国，一些州已紧急通过了关于无人驾驶汽车的法案。而事实上，无人驾驶汽车早已在法案通过前就开始使用了，技术的发展已经超越了立法完善的速度。

最著名的机器人道德方面的规则是科幻小说家Issac Aismov在1942年提出的“机器人3大法则”。它要求机器人首先要保护人类，其次是服从命令，最后要保护自己。不幸的是，这些法则在现实世界中很少被用到，战斗机器人就破坏了第一法则。

Asimov小说的有趣之处在于他准确描述了机器人在服从命令时遇到的难以预料的复杂状况。管理不断发展的自动化机器需要应用一个更为复杂的架构，并且在下面3个领域格外重要。

首先要明确机器人的制造者是否需要在机器人犯错时承担责任？为了确定责任，自动化系统必须保存细节资料以便在必要的时候解释机器行为的原因。这关乎到系统的设计：比如，需要排除那些依据已有案例而非遵循预设法则做出判断的决策系统；其次，内置的道德系统需要帮助机器人做出符合绝大多人利益的决策；最后也是最重要的一点是，工程师、伦理学家、律师和政策制定者们必须要通力合作，因为如果各自为战，他们会建立起截然不同的标准。

技术总是引领着人类的进步，但是每一次进步也会带来许多棘手问题，机器人也不例外，而越早解决这些道德上的问题，人们就能越早享受到他们带来的便利。

The Economist《经济学人》2012年6月2日