关于神经网络,在50年代末,F·Rosenblatt提出了“感知机”,它是一种多层次的神经网络。该项提出首次把人工神经网络从理论付诸到实践中。任何新生事物向前发展势必会遭到当前势力的打压,更何况,F·Rosenblatt时一个二流水的学者,并且不懂人情事故,到处张扬。那么新事物的出现肯定会挤掉一部分旧的事物,抢到一部分人的饭碗。于是符号逻辑学派的领军人物Minsky(据说是F·Rosenblatt的高中学长)就出来进行打压,在60年代中下发现感知机这玩意对逻辑学里面的一个基本问题XOR却无能无力。于是开始写文炮轰感知机。于是,60年代末开始,人工神经网络进入低潮。
这之后,虽然有提出多层感知器结构(MLP),但是带来的网络的复杂性,从而没有有效的学习方法。80时代末,研究者提出了BP算法,给人工神经网络带来了新的希望,并且该方法在浅层神经网络模型的非常有效。于是掀起了基于统计模型的机器学习热潮,这个热潮一直持续到今天。在90年代,基本上是SVM的天下,而浅层人工神经网络复杂,学习速度慢,容易出错,理论不足的缺点导致其较为沉寂。
2000年以来,随着互联网的高速发展,对大数据的智能化提出了更高的要求。随着大规模存储与计算工具的发明,浅层学习模型在互联网应用中取得了巨大成功,如搜素广告系统(Google的AdWords、百度的凤巢系统)的广告点击率CTR预估、网页搜素排序(如Yahoo、Google、B百度的搜索引擎)、垃圾邮件过滤系统、以及个性化推荐(Amazon等)。并且随着要求的提高,开始由浅层网络向深层网络研究。
在2006年前,所尝试的深度网络架构的学习都失败了,从而导致ANN只有一层或两层隐藏层。2006年,受Hinton的革命性的深度信念网(Deep Belief Networks,DBNs)的引导,Hinton[1]、Bengio[2]、Ranzato与LeCun[3]的三篇文章将深度学习带入热潮,将其从边缘学科变为主流科学与技术。目前深度学习在计算机视觉、语音识别、自然语言处理等领域取得了巨大的成功。
自2006年以来,深度学习在学术界持续升温。斯坦福大学、纽约大学、加拿大蒙特利尔大学等成为研究深度学习的重镇。2010年,美国国防部DARPA计划首次资助深度学习项目,参与方有斯坦福大学、纽约大学和NEC美国研究院。支持深度学习的一个重要依据,就是脑神经系统的确具有丰富的层次结构。一个最著名的例子就是Hubel-Wiesel模型,由于揭示了视觉神经的机理而曾获得诺贝尔医学与生理学奖。除了仿生学的角度,目前深度学习的理论研究还基本处于起步阶段,但在应用领域已显现出巨大能量。2011年以来,微软研究院和Google的语音识别研究人员先后采用DNN技术降低语音识别错误率20%~30%,是语音识别领域十多年来最大的突破性进展。2012年,DNN技术在图像识别领域取得惊人的效果,在ImageNet评测上将错误率从26%降低到15%。在这一年,DNN还被应用于制药公司的DrugeActivity预测问题,并获得世界最好成绩,这一重要成果被《纽约时报》报道。
今天Google、微软、百度、Facebook、Twitter、Alibaba等知名的拥有大数据的高科技公司争相投入资源,占领深度学习的技术制高点,正是因为他们都看到了在大数据时代,更加复杂且更加强大的深度模型能深刻揭示海量数据里所承载的复杂而丰富的信息,并对未来或未知事件做更精准的预测。
如果你热爱数据,你热爱数据科学,那么follow这些大牛。站在巨人的肩膀上学习!!!
最后贴一张图,你们感受一下(图片中部分人不在文章中,文章中的大部分人也不在图中):
参考文献
[1] Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets.[J]. Neural Computation, 2006, 18(7):2006.
[2] Bengio Y, Lamblin P, Popovici D, et al. Greedy layer-wise training of deep networks[J]. Advances in Neural Information Processing Systems, 2007:153-160.
[3] Marc’Aurelio Ranzato, Christopher Poultney, Sumit Chopra and Yann LeCun Efficient Learning of Sparse Representations with an Energy-Based Model, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems (NIPS 2006), MIT Press, 2007
[4] 原文:http://www.analyticsvidhya.com/blog/2015/09/ultimate-data-scientists-world-today/ 译者博客:http://blog.csdn.net/heyongluoyao8/article/details/48598169
End.