概率图模型是图论与概率方法的结合产物，2000年代中期它们都曾在机器学习研究人员中风靡一时。当年我在研究生院的时候(2005-2011)，变分法、Gibbs抽样和置信传播算法被深深植入在每位CMU研究生的大脑中，并为我们提供了思考机器学习问题的一个极好的心理框架。我所知道大部分关于图模型的知识都是来自于Carlos Guestrin和Jonathan Huang。Carlos Guestrin现在是GraphLab公司(现改名为Dato)的CEO，这家公司生产大规模的产品用于图像的机器学习。Jonathan Huang现在是Google的高级研究员。
下面的视频尽管是GraphLab的概述，但它也完美地阐述了“图形化思维”，以及现代数据科学家如何得心应手地使用它。Carlos是一个优秀的讲师，他的演讲不局限于公司的产品，更多的是提供下一代机器学习系统的思路。
概率图模型的计算方法介绍(视频和PPT下载)
Dato CEO，Carlos Guestrin教授
如果你觉得深度学习能够解决所有机器学习问题，真得好好看看上面的视频。如果你正在构建一套推荐系统，一个健康数据分析平台，设计一个新的交易算法，或者开发下一代搜索引擎，图模型都是完美的起点。
延伸阅读：
置信传播算法维基百科
图模型变分法导论
Michael Jordan的技术主页(Michael Jordan系推理和图模型的巨头之一)
3. 深度学习和机器学习(数据驱动机)
机器学习是从样本学习的过程，所以当前最先进的识别技术需要大量训练数据，还要用到深度神经网络和足够耐心。深度学习强调了如今那些成功的机器学习算法中的网络架构。这些方法都是基于包含很多隐藏层的“深”多层神经网络。注：我想强调的是深层结构如今(2015年)不再是什么新鲜事。只需看看下面这篇1998年的“深层”结构文章。
LeNet-5，Yann LeCun开创性的论文《基于梯度学习的文档识别方法》
你在阅读LeNet模型导读时，能看到以下条款声明：
要在GPU上运行这个示例，首先得有个性能良好的GPU。GPU内存至少要1GB。如果显示器连着GPU，可能需要更多内存。
当GPU和显示器相连时，每次GPU函数调用都有几秒钟的时限。这么做是必不可少的，因为目前的GPU在进行运算时无法继续为显示器服务。如果没有这个限制，显示器将会冻结太久，计算机看上去像是死机了。若用中等质量的GPU处理这个示例，就会遇到超过时限的问题。GPU不连接显示器时就不存在这个时间限制。你可以降低批处理大小来解决超时问题。
我真的十分好奇Yann究竟是如何早在1998年就把他的深度模型折腾出一些东西。毫不奇怪，我们大伙儿还得再花十年来消化这些内容。
更新：Yann说(通过Facebook的评论)ConvNet工作可以追溯到1989年。“它有大约400K连接，并且在一台SUN4机器上花了大约3个星期训练USPS数据集(8000个训练样本)。”——LeCun
注：大概同一时期(1998年左右)加州有两个疯狂的家伙在车库里试图把整个互联网缓存到他们的电脑(他们创办了一家G打头的公司)。我不知道他们是如何做到的，但我想有时候需要超前做些并不大规模的事情才能取得大成就。世界最终将迎头赶上的。
延伸阅读：
Y.LeCun, L.Bottou, Y.Bengio, and P.Haffner.Gradient-based learning applied to document recognition.Proceedings of the IEEE, November 1998.
Y.LeCun, B.Boser, J.S.Denker, D.Henderson, R.E.Howard, W.Hubbard and L.D.Jackel: Backpropagation Applied to Handwritten Zip Code Recognition, Neural Computation, 1(4):541-551, Winter 1989
Deep Learning code: Modern LeNet implementation in Theano and docs.
结论
我没有看到传统的一阶逻辑很快卷土重来。虽然在深度学习背后有很多炒作，分布式系统和“图形思维”对数据科学的影响更可能比重度优化的CNN来的更深远。深度学习没有理由不和GraphLab-style架构结合，未来几十年机器学习领域的重大突破也很有可能来自这两部分的结合。