链接：https://zhuanlan.zhihu.com/p/23782226
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
译者：张嘉伟 Jeven / University Of Liverpool
开始之前看一张有趣的图 - 大脑遗传地图：
Figure 0. The Genetic Geography of the Brain - Allen Brain Atlas
成年人大脑结构上的基因使用模式是高度定型和可再现的。 Figure 0 中所示的动态热图表示跨个体的这种图案化模式的共同结构，特别是一些介于解剖区域对（pairs of anatomic regions）之间差异表达的基因数目，在我们的实验测量中，有5/6的大脑中发现了类似共同的模式。 热红色阴影代表在其转录调节中非常不同的脑区域，而较冷的蓝色阴影代表高相似性的区域。
先看这张图的用意是在于让读者了解目前大脑、神经科学的前沿，人类不仅具有了解全部大脑基本功能的能力，并且已经具备将各功能区域映射到自身遗传物质编码上的能力。不仅如此，更多先进的探测技术已经能让人们记录下更详细的神经元内部的活动（dynamics），这使得对大脑内部计算结构的分析成为可能，上图所示内容凝结了众多科学家的努力，相信一定是21世纪最伟大的科学突破之一。
说明：
1. 翻译这篇文章出于学习目的，有翻译或者理解有误的地方还望大家多多指教；
2. 本文可以任意转载，支持知识分享，但请注明出处或附上原文地址；
3. 文章中所有的引用都在本文内嵌链接中可以找到，该论文有488篇引用！
4. 翻译将进行连载，这是系列的第一部分，对应论文第一章；
Standing>2011）、细胞类型、分子、细胞状态以及计算和信息存储的机制。 相反，机器学习主要集中在单一原理的实例化：函数优化。 它发现简单的优化目标，如最小化分类误差，可以导致在在多层和复现（Recurrent）网络形成丰富的内部表示和强大的算法能力（LeCun et al., 2015; Schmidhuber, 2015）。 这里我们试图去连接这些观点。如今在机器学习中突出的人工神经网络最初是受神经科学的启发（McCulloch and Pitts, 1943）。虽然此后神经科学在机器学习继续发挥作用（Cox and Dean, 2014），但许多主要的发展都是以有效优化的数学为基础，而不是神经科学的发现（Sutskever and Martens, 2013）。该领域从简单线性系统（Minsky and Papert, 1972）到非线性网络（Haykin, 1994），再到深层和复现网络（LeCun et al., 2015; Schmidhuber, 2015）。反向传播误差（Werbos, 1974, 1982; Rumelhart et al., 1986）通过提供一种有效的方法来计算相对于多层网络的权重的梯度，使得神经网络能够被有效地训练。训练神经网络的方法已经改进了很多，包括引入动量的学习率，更好的权重矩阵初始化，和共轭梯度等，发展到当前使用分批随机梯度下降（SGD）优化的网络。这些发展与神经科学并没有明显的联系。
然而，我们将在此论证，神经科学和机器学习都已经发展成熟到了可以再次“收敛”（交织）的局面。 机器学习的三个方面在本文所讨论的上下文中都显得特别重要。 首先，机器学习侧重于成本函数的优化（见Figure 1）。
Figure 1. 传统人工神经网络和类脑神经网络设计之间的假设差异。 （A）在常规深度学习中，监督训练基于外部提供的标记数据。 （B）在大脑中，网络的监督训练仍然可以通过对误差信号的梯度下降发生，但是该误差信号必须来自内部生成的成本函数。这些成本函数本身是由遗传基因和后天学习所指定的神经模块计算而来。内部生成的成本函数创建heuristics（这个实在不好翻译，“启发”有些抽象，类似于元信息，大家意会吧），用于引导更复杂的学习。例如，识别面部的区域可以首先使用简单的heuristic来训练以来检测面部，这种heuristic就比如是在直线之上存在两个点，然后进一步训练以使用来自无监督学习的表示结合来自其他与社交奖励处理相关的大脑区域的错误信号来区分显著的面部表情。 （C）内部生成的成本函数和错误驱动的神经皮质深层网络经过训练形成包含几个专门系统的较大架构的一部分。虽然可训练皮层区域在这里被示意为前馈神经网络，但是LSTM或其他类型的recurrent网络可能才是更精确的比喻，并且许多神经元和网络性质例如神经脉冲、树突计算、神经调节、适应和稳态可塑性、定时依赖性可塑性、直接电连接、瞬时突触动力、兴奋/抑制平衡、自发振荡活动、轴突传导延迟（Izhikevich,