在上一篇文章 《零基础入门深度学习：感应器、线性单元和梯度下降》 中，我们已经掌握了机器学习的基本套路，对模型、目标函数、优化算法这些概念有了一定程度的理解，而且已经会训练单个的感知器或者线性单元了。在这篇文章中，我们将把这些单独的单元按照一定的规则相互连接在一起形成 神经网络 ，从而奇迹般的获得了强大的学习能力。我们还将介绍这种网络的训练算法： 反向传播算法 。最后，我们依然用代码实现一个神经网络。如果您能坚持到本文的结尾，将会看到我们用自己实现的神经网络去识别手写数字。
神经元
神经元和感知器本质上是一样的，只不过我们说感知器的时候，它的激活函数是阶跃函数;而当我们说神经元时，激活函数往往选择为sigmoid函数或tanh函数。如下图所示：
sigmoid函数的定义如下：
将其带入前面的式子，得到
sigmoid函数是一个非线性函数，值域是(0,1)。函数图像如下图所示
sigmoid函数的导数是：
可以看到，sigmoid函数的导数非常有趣，它可以用sigmoid函数自身来表示。这样，一旦计算出sigmoid函数的值，计算它的导数的值就非常方便。
神经网络是啥
神经网络其实就是按照一定规则连接起来的多个神经元。上图展示了一个全连接(full connected, FC)神经网络，通过观察上面的图，我们可以发现它的规则包括：
神经元按照层来布局。最左边的层叫做输入层，负责接收输入数据;最右边的层叫输出层，我们可以从这层获取神经网络输出数据。输入层和输出层之间的层叫做隐藏层，因为它们对于外部来说是不可见的。
同一层的神经元之间没有连接。
第N层的每个神经元和第N-1层的所有神经元相连(这就是full connected的含义)，第N-1层神经元的输出就是第N层神经元的输入。
每个连接都有一个权值。
上面这些规则定义了全连接神经网络的结构。事实上还存在很多其它结构的神经网络，比如卷积神经网络(CNN)、循环神经网络(RNN)，他们都具有不同的连接规则。
计算神经网络的输出
神经网络实际上就是一个输入向量到输出向量的函数，即：
根据输入计算神经网络的输出，需要首先将输入向量的每个元素的值赋给神经网络的输入层的对应神经元，然后根据式1依次向前计算每一层的每个神经元的值，直到最后一层输出层的所有神经元的值计算完毕。最后，将输出层每个神经元的值串在一起就得到了输出向量。
接下来举一个例子来说明这个过程，我们先给神经网络的每个单元写上编号。
如上图，输入层有三个节点，我们将其依次编号为1、2、3;隐藏层的4个节点，编号依次为4、5、6、7;最后输出层的两个节点编号为8、9。因为我们这个神经网络是全连接网络，所以可以看到每个节点都和上一层的所有节点有连接。比如，我们可以看到隐藏层的节点4，它和输入层的三个节点1、2、3之间都有连接，其连接上的权重分别为W41,W42,W43。那么，我们怎样计算节点4的输出值a4呢?