需要注意的是大脑中的表示是在中间紧密分布并且纯局部：他们是稀疏的：1%的神经元是同时活动的。给定大量的神经元，仍然有一个非常高效地(指数级高效)表示。
3.2 认知过程逐层进行，逐步抽象
人类层次化地组织思想和概念;
人类首先学习简单的概念，然后用他们去表示更抽象的;
工程师将任务分解成多个抽象层次去处理;
学习/发现这些概念(知识工程由于没有反省而失败?)是很美好的。对语言可表达的概念的反省也建议我们一个稀疏的表示：仅所有可能单词/概念中的一个小的部分是可被应用到一个特别的输入(一个视觉场景)。
4、深度学习适用场景
深度学习已经在语音识别、图像处理等方面取得了巨大成功。从2013、2014年开始，也在自然语言处理领域出现深度学习的应用浪潮。随着研究的深入，其他领域还在探索中，如自动驾驶等等。
5、深度学习等同人工智能吗?
5.1 强人工智能和弱人工智能
人工智能的一个比较流行的定义，也是该领域较早的定义，是由约翰·麦卡锡(John McCarthy|)在1956年的达特矛斯会议(Dartmouth Conference)上提出的：人工智能就是要让机器的行为看起来就象是人所表现出的智能行为一样。但是这个定义似乎忽略了强人工智能的可能性(见下)。另一个定义指人工智能是人造机器所表现出来的智能性。总体来讲，目前对人工智能的定义大多可划分为四类，即机器“像人一样思考”、“像人一样行动”、“理性地思考”和“理性地行动”。这里“行动”应广义地理解为采取行动，或制定行动的决策，而不是肢体动作。
强人工智能: 强人工智能观点认为有可能制造出真正能推理(Reasoning)和解决问题(Problem_solving)的智能机器，并且，这样的机器能将被认为是有知觉的，有自我意识的。强人工智能可以有两类： 类人的人工智能，即机器的思考和推理就像人的思维一样。 非类人的人工智能，即机器产生了和人完全不一样的知觉和意识，使用和人完全不一样的推理方式。
弱人工智能:弱人工智能观点认为不可能制造出能真正地推理(Reasoning)和解决问题(Problem_solving)的智能机器，这些机器只不过看起来像是智能的，但是并不真正拥有智能，也不会有自主意识。 主流科研集中在弱人工智能上，并且一般认为这一研究领域已经取得可观的成就。强人工智能的研究则处于停滞不前的状态下。
当前深度学习还是其他算法，更多的是弱人工智能，根本就没有思考和推断的能力，深度学习说low一点，本质上做的还是分类。
6、深度学习研究方向
Hinton，Bengio及Lecun三位大神在Nature上发表的Deep Learning综述最后总结了深度学习的三大发展方向：
1)无监督学习。 无监督学习在深度学习刚火的那几年有很重要的作用，比如用无监督方式训练深度信念网络还有稀疏自编码器等，使用无监督学习主要是为了预训练，以得到一个较好的初始值，随后再使用有监督训练进行微调。但是随着计算能力的发展，人们发现只要在数据集足够大的情况下使用纯有监督学习也能得到较好性能，所以近几年无监督学习发展不是很大，Hinton他们希望在未来无监督学习能有更大发展，因为人类和动物的学习在很大程度上都是无监督的：我们通过观察这个世界来学习，而不是有个老师在教我们这个世界的原理。
2)深度强化学习。 深度强化学习的主要思想简而言之就是将深度学习与强化学习相结合，是一种从感知到动作的端到端学习。简单的说，就是和人类一样，输入感知信息比如视觉，然后通过深度神经网络，直接输出动作，中间没有人工特征的工作。深度增强学习具备使机器人实现真正完全自主的学习一种甚至多种技能的潜力。深度强化学习最突出的代表就是DeepMind公司了，该公司在NIPS 2013上发表的Playing Atari with Deep Reinforcement Learning一文，在该文中第一次提出深度强化学习这个名称，之后在Nature上发表了改进版的文章Human-level control through deep reinforcement learning，引起了广泛的关注，深度强化学习从此成为深度学习领域的前沿研究方向。最近的李世石大战阿法狗中，阿法狗背后的技术也是深度强化学习，DeepMind将阿法狗背后用到的技术发表在了2016年的Nature上Mastering the game of Go with deep neural networks and tree search。