在轴突末端与相邻树突形成的突出间隙中，扩散着一种叫做神经传递素的化学物质，他实现了神经传递。神经中最关键的部分，是神经通过树突接收到刺激，处理后，通过轴突末梢传输出去。在末梢处会经过突触间隙，然后到达许多接受神经的树突。 该过程将重复进行。
4.感知机
感知机是一个简单的线形二进制分类器。它接收输入和与其相连的权重(表示输入变量的相对重要性)，将它们结合来产生输出。输出接下来被用于分类。感知机已经存在很长一段时间了，最早的使用可追溯到1950年代，其中一个也是应用到早期的人工神经网络中。
5.多层感知机
一个多层感知机(MLP)是由几个含有全邻接层的感知机组成，形成一个简单的前馈神经网络(见下)。这个多层感知器在非线性激活函数上有许多好处，这些都是单层感知器不具备的。
6.前馈神经网络
在非周期性连接的神经网络结构中，前馈神经网络是最简单的形式。最初的人工神经网络中，前馈网络中的信息从输入节点单方向前进，而后通过所有隐藏层，到达输出节点，不存在任何周期。前馈网络不同于之后的连接构成有向循环的周期性网络架构(见下文)。
7.循环神经网络
和上文所提到的前馈神经网络不同，循环神经网络的连接构成有向循环。这种双向流动允许内部时间状态表示，继而允许序列处理。并且值得注意的是，它提供了用于识别语音和手写的必要能力。
8.激活函数
在神经网络中，激活函数通过组合网络的加权输入来产生判定边界输出结果。激活函数的范围从标识(线性)到Sigmoid函数(逻辑或软步长)，双曲线(正切)和超越。为了采用反向传播(见下文)，神经网络必须使用可微的激活函数。
9.反向传播
我所见过的对反向传播的定义中，最基本、简洁的定义是数据科学家Mikio L. Braun在Quora上给出的答案 。我在此列出原文，以防破坏这份答案简洁的完美。
反向传播只是在个别错误上进行梯度下降。通过比较对神经网络预期输出的预测，而后计算相对于神经网络的权重的误差梯度。然后得出了权值空间中减小误差的方向。
我将它列在这里。
10.成本函数
在训练神经网络时，必须评估网络输出的正确性。众所周知，预期上正确的训练输出数据和实际的训练输出是可比拟的。成本函数便能测量实际和训练输出之间的差异。实际和预期输出之间的零成本将意味着训练神经网络成为可能。但这显然是理想化的。
所以，通过什么机制来调整成本函数，以实现将其最小化的目标呢?
11.梯度下降
梯度下降法是求函数局部极小值的一个优化算法。虽然它不能保证全定义域内的最小值，但梯度下降对于难以通过分析 (例如通过将导数取0获得最优解)求得精确解的问题十分有用。
正如上文所述，在神经网络的情况中，随机梯度下降用于对网络参数做出知情调整，以达到使成本函数最小化的目标，从而使网络的实际输出迭代性地愈加接近在培训期间的预期输出。这种迭代最小化采用微积分，即微分。在训练步骤之后，网络权重根据成本函数的梯度和网络的当前权重接收更新，使得下一个训练步骤的结果可以更加接近正确值(通过更小的成本函数测量)。反向传播(关于错误的反向传播)便用于将这些更新以小份的形式送到网络。
12.梯度消失问题
由于反向传播使用链式规则来计算梯度(通过微分)，朝向n层神经网络的“前”(输入)层将使其修改的梯度以一个较小的值乘以n次方，然后再更新之前的固定值。这意味着梯度将指数性减小。 n越大，网络将需要越来越多的时间来有效地训练。
13.卷积神经网络
卷积神经网络(CNN)通常与计算机视觉和图像识别相关联，并采用卷积的数学概念来模仿生物视觉皮层的神经连接网格。
首先，正如 Denny Britz 所描述一样，卷积可以被认为是在图像的矩阵表示之上的滑动窗口(见下文)。
