“无论计算机技术如何发展，尽管真正的人工智能系统会在很多具体问题的解决能力上超过人类，但由于它没有生物属性，没有和人类完全相同的经验，所以不会在所有方面超越人类。”王培表示，未来的人工智能系统只是在某些方面和人具有可比性，而非整体超越人类。那么，人与系统之间的关系也不可能等同于人与人之间的互动水平。
人工智能真的可控吗
人工智能不会全面超过人类不意味着它完全可控。就连库兹韦尔也表示，失控的人工智能在逻辑上是完全可能的。
王培承认，“智能”往往被当作褒义词，但事实上，真正的智能在拥有灵活性和创造性的同时，也可能是不稳定、不可靠的。“人工智能目标在一定程度上可以说就是减少人对计算机的控制和干预。因此，智能越高，失控的可能性在理论上就越大，风险也就越大。”
这正好印证了伦理学家的担忧。我国著名生命伦理学家邱仁宗表示，伦理学认为解决这个问题的核心，是希望人工智能机器成为一个“人工道德行动者”，使它们能考虑他人利益，甚至拥有利他主义倾向。
美国机器智能研究院专门研究人工智能的安全发展，该机构奠基人尤德科夫斯基就曾提出了“友好人工智能”的概念，认为“友善”从设计伊始就应当被注入机器的智能系统中。但这个理论很容易被推翻。“一个明显的常识是：人类无法避免自己的一部分后代学坏。”江晓原说。
王培的看法是，一个智能系统的行为同时取决于其先天条件以及后天条件。对于系统设计本身，可以在某种程度上将人类普世的道德标准编进程序。但由于它拥有自适应能力，人类无法预见其行为的所有后果。
“人工智能的‘自主决策’仍是被它的经验所约束的，如果在其‘未成年’期对其输入信息控制，以达到社会认可的动机、知识、技能结构和水平，并在其成长过程中进行与机器相关的道德、法律等社会约束，通过终生教育和社会化过程，可以实现像对人一样的管理。”
他认为，这就是平衡自由和道德的手段，然而，这个平衡并不能事先保证。这也说明人工智能一定能成为“人工道德行动者”的证据是不明确的。
预防还是行动
有一种观点认为，在科技发展过程中，恐惧新技术的人都会振振有词地说：到此处为止，不要再进步。
然而，由于“智能”天生就无法控制，在邱仁宗看来，人工智能对人类构成的威胁是一种“存在威胁”，即人类存在本身都成为问题，没有一项其他科技可以与之对等。
“真正带有终极性质的问题是：我们究竟为什么需要人工智能？人工智能真的必不可少吗？”江晓原认为，“没有人工智能或者限制人工智能并不会影响人类生存，它影响的是资本增值。”
这也造成在该问题上两种截然不同的处理原则。预防原则要求，我们不能用试错法来处理生存危机。如果一个行为的后果未知，但是根据科学家判断有极小可能会带来巨大的负面风险，这一行为最好不要进行；行动派则认为，很明显，这就要求科学家在战略中要尽可能提高自信以对抗这种风险。阻止新兴技术带来的好处，可能会增加灾难性结果的可能性。
尽管两者无法达成一致，但人工智能研究是人类几千年来在意识层面上自我认识的努力的最新前沿，它将不会停止发展。
“目前在这个领域的研究成果还没有成熟到支持应用技术的程度。和所有科学领域一样，把不成熟的研究成果投入实际应用是危险的，尤其是那些可能产生深远影响的成果，因此它的伦理问题很重要。”王培坦言，作为人工智能的研究者，随时想着自己研究工作的社会后果非常必要。“但人工智能技术的具体伦理规范应当随着科学研究的进展而逐渐建立，而不可能在研究成果尚未成熟的条件下完善。”
江晓原也表示，在必须发展该技术的前提下，我们应该抱着慎之又慎的心态。虽然本质上不存在能对抗强人工智能的绝对保护措施，大力增加在发展防御手段上的投入，包括道德标准、法律标准和防御技术本身都是非常必要的。