如今，人工智能发展迅速，应用也越来越广泛，但是显然我们不能对这一新技术抱以完全的信任。因为盲目的信任有可能会造成误导或是危险的结果，谨慎一点是必须的。
关于人工智能(AI)这个相当过时的概念，最近引起了大量的讨论。人工智能充斥着我们的生活，涉及了无数的应用程序，从谷歌搜索，到Uber或Lyft打车软件，到机票价格，到智能助手Alexa或Siri。对一些人来说，人工智能是一种拯救，它会提高生活质量，同时在众多成熟的行业中注入创新元素。然而，另一些人则发出了可怕的警告：我们很快就会完全被高超的机器智能所征服。人工智能是典型的软件主导，而软件是容易出现漏洞的。考虑到这一点，我们如何知道人工智能本身是足够可靠去完成工作的？或者更确切地说，我们对于人工智能的成果能够信任到什么程度？
盲目信任的风险
我们来讨论一下自动驾驶汽车。汽车自动驾驶系统的发展中，人工智能的元素发挥了很大的作用。现在制造出了大部分时间都遵守道路规则的车辆。这里有一个案例，一辆自动驾驶汽车在佛罗里达州侧面撞上一辆转弯的卡车，导致“司机”死亡。这起事故最终被归咎于“司机”的失误，因为自动控制装置被认为是在他们的设计范围内运行的。当时的躲避系统设计要求雷达和视觉系统的结果达成一致后做出闪避的动作。
然而，有证据表明，白色卡车在明亮的阳光下转弯时造成眩光晃到了这辆车的视觉系统。于是这个系统既没有察觉到，也没有对即将到来的危险做出反应。并且，在这次事故中，还有其他证据表明，当时“司机”正在看《哈利波特》电影。这名“司机”显然对自动驾驶系统过于自信，并没有对其行为进行积极的监控，也没能发现它的漏洞，尽管估计有7秒钟的可以让他预见到风险的时间。
设计的保护等级已经确定，但司机没有意识到他的自动驾驶仪仍然需要他全神贯注的注意力。在这种罕见的情况下，对于人工智能系统的错误信任引发了致命的结果。
建立信任的门槛
人工智能的发展确实令人印象深刻。美国国防部高级研究计划局(DARPA)在2016年年底完成了“网络大挑战”(CGC)竞赛。CGC上，机器可以独立地玩一种被称为“夺旗必死”的实时黑客游戏。在这里，“旗帜”隐藏在代码中，黑客的工作就是利用漏洞攻击对手的“旗帜”。CGC为最成功的球队提供了200万美元的奖金。CGC最后一轮在一个普通的封闭网络上，在没有人为干预的情况下，七台机器相互竞争。这些机器必须识别对手系统中的漏洞，在自己的系统上进行修复，并在对手的系统中利用这些漏洞来夺旗。卡内基梅隆大学的Mayhem团队获得胜利。
美国国防部高级研究规划局信息创新办公室主任John Launchbury将与CGC有关的人工智能的特征描述为手工制造的知识。这项技术从早期的专业系统中脱颖而出，对于现代人工智能的发展至关重要。在手工制造的知识中，系统根据复杂的、手动定义的规则集进行推理。这种人工智能具有推理能力，但在感知方面是有限的，它没有学习和进行抽象的能力。
在对于未来的推理型人工智能可以快速诊断和修复软件漏洞这方面建立信心的同时，需要指出CGC是有范围限制的。出于竞赛的目的，开源操作系统的扩展被简化了，被植入的恶意软件版本，相对于真实生活中的恶意软件来说，是大打折扣的。这就有意地减轻了开发负担，为竞争评估建立了统一的基础，并降低了将竞争对手的软件不经重大修改就发布到更大的联网世界的风险。
在游戏中使用“卑鄙的手段”来击败对手，是一个更黑暗的维度。尽管重新设计代码以快速隔离和修复漏洞是好的，但将这些漏洞转化为有效利用其他代码的机会是另一回事。一些人担心，如果这种能力得到释放并失去控制，它可能会变成一种“超级代码”——既规避了常见的漏洞，也能利用同样的漏洞来控制他人的网络，包括日益增长和可能还很脆弱的物联网。这种担忧促使电子前沿基金会呼吁人工智能开发者“道德规范”，以限制推理系统在可信赖的状态下执行。
机器学习增加了信任的赌注
Launchbury把统计学习这个词归于他认为的第二次浪潮。在这里，感知和学习能力很强，但这项技术缺乏执行推理和抽象的能力。虽然统计数据令人印象深刻，但机器学习会周期性地产生不可靠的结果，通常表现为奇怪的异常值。随着时间的推移，机器学习也会因受到污染的训练数据而出现偏差。考虑到并非所有的人工智能学习都能产生可预测的结果，这导致了人工智能系统可能会以意想不到的方式出错。那么，有效地定义人工智能工具的信任等级就是个很大的障碍。