在上面图中，在每次的卷积操作后都使用了一个叫做 ReLU 的操作。ReLU 表示修正线性单元(Rectified Linear Unit)，是一个非线性操作。它的输入如下所示：
ReLU 是一个元素级别的操作(应用到各个像素)，并将特征图中的所有小于 0 的像素值设置为零。ReLU 的目的是在 ConvNet 中引入非线性，因为在大部分的我们希望 ConvNet 学习的实际数据是非线性的(卷积是一个线性操作——元素级别的矩阵相乘和相加，所以我们需要通过使用非线性函数 ReLU 来引入非线性。
ReLU 操作可以从下面的图中理解。它展示的 ReLU 操作是应用到上面图 6 得到的特征图之一。这里的输出特征图也可以看作是“修正”过的特征图。
其他非线性函数，比如 tanh 或者 sigmoid 也可以用来替代 ReLU，但 ReLU 在大部分情况下表现是更好的。
池化操作
空间池化(Spatial Pooling)(也叫做亚采用或者下采样)降低了各个特征图的维度，但可以保持大部分重要的信息。空间池化有下面几种方式：最大化、平均化、加和等等。
对于最大池化(Max Pooling)，我们定义一个空间邻域(比如，2x2 的窗口)，并从窗口内的修正特征图中取出最大的元素。除了取最大元素，我们也可以取平均(Average Pooling)或者对窗口内的元素求和。在实际中，最大池化被证明效果更好一些。
下面的图展示了使用 2x2 窗口在修正特征图(在卷积 + ReLU 操作后得到)使用最大池化的例子。
我们以 2 个元素(也叫做“步长”)滑动我们 2x2 的窗口，并在每个区域内取最大值。如上图所示，这样操作可以降低我们特征图的维度。
在下图展示的网络中，池化操作是分开应用到各个特征图的(注意，因为这样的操作，我们可以从三个输入图中得到三个输出图)。
下图展示了在图 9 中我们在 ReLU 操作后得到的修正特征图的池化操作的效果。
池化函数可以逐渐降低输入表示的空间尺度。特别地，池化：
使输入表示(特征维度)变得更小，并且网络中的参数和计算的数量更加可控的减小，因此，可以控制过拟合
使网络对于输入图像中更小的变化、冗余和变换变得不变性(输入的微小冗余将不会改变池化的输出——因为我们在局部邻域中使用了最大化/平均值的操作。
帮助我们获取图像最大程度上的尺度不变性(准确的词是“不变性”)。它非常的强大，因为我们可以检测图像中的物体，无论它们位置在哪里(参考 18 和 19 获取详细信息)。
目前为止的故事
到目前为止我们了解了卷积、ReLU 和池化是如何操作的。理解这些层是构建任意 CNN 的基础是很重要的。正如上图所示，我们有两组卷积、ReLU & 池化层 —— 第二组卷积层使用六个滤波器对第一组的池化层的输出继续卷积，得到一共六个特征图。接下来对所有六个特征图应用 ReLU。接着我们对六个修正特征图分别进行最大池化操作。
这些层一起就可以从图像中提取有用的特征，并在网络中引入非线性，减少特征维度，同时保持这些特征具有某种程度上的尺度变化不变性。
第二组池化层的输出作为全连接层的输入，我们会在下一部分介绍全连接层。
全连接层
全连接层是传统的多层感知器，在输出层使用的是 softmax 激活函数(也可以使用其他像 SVM 的分类器，但在本文中只使用 softmax)。“全连接(Fully Connected)”这个词表明前面层的所有神经元都与下一层的所有神经元连接。如果你对多层感知器不熟悉的话，我推荐你阅读 这篇文章 。