被称为Deep Dream的程序产生的图像，显示出看起来非常怪诞的动物从云层或植物中现身，如幻境中的宝塔出现在森林或山脉上。这些图片证明，深度学习并非完全不可理解，算法也需要熟悉的视觉特征，比如鸟喙或羽毛等。但这些图片也显示，深度学习与人类感知截然不同，会让我们忽略的东西变得不可思议。谷歌研究人员注意到，当算法生成哑铃图像时，也会生成举着它的人类双臂。机器得出的结论是，手臂是哑铃的一部分。
利用来自神经科学和认知科学领域的想法，这种技术取得更大进步。由美国怀俄明大学副教授杰夫·克卢恩（Jeff Clune）领导的团队已经采用光学错觉AI测试深度神经网络。2015年，克卢恩的团队展示了特定图像如何欺骗神经网络，让它们误以为目标不存在，因为图像利用了系统搜索的低层次模式。克卢恩的同事杰森（Jason Yosinski）还开发出类似探针的工具，它以网络中部的神经元为目标，寻找最容易被激活的图像。尽管图像以抽象的方式显现，但却凸显了机器感知能力的神秘本质。
可是，我们不仅仅没法窥探AI的思维，也没有简单的解决方案。深层神经网络内部计算的相互作用对高层次模式识别和复杂的决策至关重要，但是这些计算堪称是数学函数和变量的泥潭。雅克拉说：“如果你有很小的神经网络，你可能会理解它。但是当其变得非常庞大时，每层都会有数千个单元，而且有数百层，那么它会变得相当难以理解。”
雅克拉的同事雷吉纳·巴尔齐莱（Regina Barzilay）专注于将机器学习应用到医学领域。2年前43岁时，巴尔齐莱被诊断患上乳腺癌。这个诊断本身就令人感到震惊，但巴尔齐莱也很沮丧，因为前沿统计和机器学习方法还未被用于帮助肿瘤学研究或指导治疗。她说，AI很可能彻底改变医疗行业，而意识到这种潜力意味着其不仅仅可被用于病例中。她希望使用更多未被充分利用的原始数据，比如影像数据、病理资料等。
去年结束癌症治疗后，巴尔齐莱和学生们开始与马萨诸塞州综合医院的医生们合作，开发能够通过分析病理报告确定病人的系统，这些患者是研究人员可能想要研究的特殊临床病例。然而，巴尔齐莱知道，这套系统需要能够解释其推理。为此，巴尔齐莱与雅克拉等人增加新的研究，该系统可以提取和突出文本中的片段，这些片段也处于已经被发现的模式中。巴尔齐莱等人还开发出深度学习算法，它可在乳房X线照片中发现乳腺癌的早期症状。他们的目标是给于这种系统解释推理的同样能力。巴尔齐莱说：“你真的需要一个回路，机器和人类可通过其加强协作。”
美国军方正向多个项目投资数十亿美元，这些项目可利用机器学习引导战车和飞机、识别目标、帮助分析师筛选大量情报数据。与其他领域的研究不同的是，美国国防部已经确定，可解释性是解开AI算法神秘面纱的关键“绊脚石”。国防部下属研发机构DARPA项目主管大卫·甘宁（David Gunning）负责监督名为Explainable Artificial Intelligence的项目，他此前曾帮助监督最后促使Siri诞生的DARPA项目。
甘宁表示，自动化正渗透到无数军事领域。情报分析师正测试机器学习，将其作为在海量情报数据中确认模式的新方法。许多无人驾驶地面战车和飞机正被开发和测试，但坐在无法自我解释的机器人坦克中，士兵们可能不会感觉不舒服，分析师也不愿意根据没有推理支持的信息采取行动。甘宁说：“这些机器学习系统本质上经常产生大量假警报，为此网络分析师需要额外帮助，以便理解为何它们给出如此建议。”
今年3月份，DARPA从学术界和工业领域挑选了13个项目，以便获得甘宁团队的资助，其中包括华盛顿大学教授卡洛斯·盖斯特林(Carlos Guestrin)领导的项目。盖斯特林与同事们已经找到一种新方法，让机器学习系统为自己的输出提供推理解释。实质上，按照他们的方法，计算机可自动从数据集中查找例证，并以它们为佐证。举例来说，可以分类恐怖分子电子邮件信息的系统，可能需要使用数以千万计的信息进行训练和决策。但利用华盛顿大学团队的方法，它可以凸显信息中出现的特定关键词。盖斯特林的团队还设计了图像识别系统，通过凸显图像中最重要的部分提供推理支持。