图片来源：Daniel Hertzberg
如何成为机器的主人
牛津大学人类未来研究所的创始总监Nick Bostrom：AI的生存危机。由Daniela Hernandez采访。
能说说你正在进行的工作吗？
我们对于“控制问题”相关的技术挑战非常感兴趣。你能确保AI做的事情，一定是符合程序员初衷的吗？我们还对强智能AI带来的经济、政治和社会问题感兴趣。什么样的政治体制最能够帮助我们转型进入智能机器时代？我们如何确保不同的利益相关者联合起来，从事可以带来积极结果的事情？
你进行了很多关于生存危机的研究。如果用最直白的语言向一个5岁小孩解释，你会如何描述呢？
我会说，这是可以永远毁灭人类未来的科技。对于年纪更大一点的听众，我会说有人类灭绝的可能，或者可能永远摧毁我们在未来实现价值的可能性。
你认为什么样的策略会帮助减轻人工智能的潜在生存危机？
研究控制问题会有所帮助。当我们搞明白如何让机器变得真正智能，我们应该能有一些概念，知道如何控制这样的机器，如何进行工程设计，从而让机器与人类站在同一阵营，符合人类价值观，不具有破坏性。这涉及一系列的技术挑战，其中一些我们现在已经开始研究了。
你能举个例子吗？
对于控制问题，不同的人思考着不同的方法。一种方式是研究价值观学习。我们希望自己打造的AI最终可以分享我们的价值观，这样AI可以作为我们人类意志的延伸。我们没法把自己重视的一切写在一个长长的列表然后塞给AI。更好的办法，是利用AI自己的智能来学习我们的价值观和喜欢。
每一个人的价值观都不同。我们如何决定机器该学习什么样的价值观？
这是一个很大、很复杂的问题：价值观之间的巨大冲突以及利益之间的巨大冲突。从某种意义上说，这是最大的一个未解难题。如果你对于技术进步比较乐观，你会觉得最终我们总会知道怎样可以做到越来越多的事情。
我们会以前所未有的程度征服自然。但是有一项科技无法自动解决的问题，就是冲突和战争。最黑暗的宏观画面是，人们有可能利用技术，这种超越自然的力量、这种知识，专门用来伤害和破坏他人。这个问题没法自动解决。
我们如何应对这种压力？
对于这个问题我没有简单的答案。我不认为存在一个简单的技术解决方案。
一个自动编程的代理能否从我们为其设定的控制系统中解放出来？人类已经一直在这样做了，从某种意义上来说，当我们出于自私行事的时候。
保守的假设是，强人工智能可以自我编程，可以改变自己的价值观，而且可以打破任何我们为其设定的束缚。那样的话，我们的目标就会是对其进行设计，让机器选择不使用那些能力来伤害人类。如果AI希望为人类服务，它会对一个杀害人类的行为分配很低的预期实效。我们有理由这样认为，如果你以恰当的方式设定目标系统，最终的决策标准就能保持下来。
图片来源：Daniel Hertzberg
让我们把大脑变得更好
PayPal及Founders Fund联合创始人Luke Nosek：在人工大脑出现前，我们需要训练自己的大脑。
今年早些时候，韩国围棋冠军李世石与谷歌的人工智能程序AlphaGo进行了一场历史性的大战。李世石名下有18项世界冠军头衔，但是在今年3月19日，他败给了软件。
如今的高性能计算前所未有的强大。不过距离强人工智能系统的出现还有很远的距离，机器还远未达到人类大脑的能力。我们还没能理解强人工智能（有时候称为AGI）会如何运作，会为我们的生活和经济带来什么影响。经常有人将这种影响的广度比作核技术的出现，从史蒂芬·霍金、到伊隆·马斯克、到AlphaGo的创造者都建议，我们应该小心前进。