亚马逊AWS深度创新实践:深度学习、大数据平台、容器和物联网

  4月21日,由InfoQ主办的 QCon全球软件开发大会 在北京举行。超过150名国内外技术专家将为大家带来一场技术盛宴。本文综述了QCon北京大会 亚马逊AWS深度创新实践 专场的内容,四位分享者来自亚马逊和App Annie。本专场的分享可视为了解亚马逊AWS深度创新实践现状的渠道窗口。

  从亚马逊AWS于2006年3月14日上线Amazon S3服务至今,已经过去了整整十年时间。AWS作为云计算领域的开拓者之一,其在保障云服务的弹性、安全性、高可用性、成本可控性等方面积累了大量的实践经验与知识,同时也推动了全球云服务行业的快速发展。在AWS迎来10周年纪念之际,通过本专场分享的AWS上构建个性化服务的实践过程,展示云计算相关技术的创新成果,演讲内容将覆盖深度学习、Python开发、大数据平台架构、容器管理、物联网应用等多个技术领域,从而更多地了解AWS的创新实践。

  Deep Learning with Python

  费良宏现担任亚马逊AWS中国首席云计算技术顾问一职,他分享的话题是Deep Learning with Python。

  深度学习、人工只能和机器学习

  2016年激动人心的事件之一”人机大战”:2016年3月份AlphaGo跟李世石大战,4:1完胜。这个事件使得机器学习变得炙手可热起来,就好像1997年的时候,深蓝大战国际象棋那个事件又一次纳入了人们的视野,这个人机大战后面的理论依据是深度学习的模型。那么,深度学习、人工智能和机器学习这三者之间的区别是什么呢? 简单来说人工智能是一个很庞杂、很庞大的学科,在人工智能的领域里面,机器学习是它重要的组成部分,而深度学习又是机器学习的其中一个部分。只不过最近的若干年里面,深度学习包括机器学习变得炙手可热,从整个体系来说,它们都是在人工智能这样一个框架之内。人工智能的历史可以追溯到50年代,有很多人提出机器学习和神经网络这样一些概念和原理。随着发展,尤其是计算机、摩尔定律规律不断地提升我们的计算能力,尤其是在2000年以后有了很多里程碑式的变化,2006年就有了深度学习这个概念的出现。

  机器学习到底能做什么?

  所谓机器学习就是由已知的答案开始,必须要有数据,这是我们启动一个机器学习应用的起点。其次,明确目标到底是预测什么?这个照片是谁?不是谁?这是一个熊还是人,这是一个明确目标,不能模棱两可。最后,要选择那些可以被用来去探测的变量或者特征。所以有的时候机器学习我们也叫特征工程。用监督学习方法去应用机器学习的时候,需要对数据进行训练,这也是经常采用的一个方法,比如说AlphaGO就是这样。

  机器学习核心就是研究这类算法,它是帮助我们从数据当中分析他的规律,利用这个规律对未知的学科进行预测,如果用一个词描述机器学习的话,我经常会把这个词用作我自己认为的一个标签,就是预测,它就是用来去预测未来的,但是它的基础是已知的基础和知识。机器学习是有传统的人工智能理论、信息理论、统计模型等等,它并不是孤立存在的。

  机器学习基于过去的实施和依据发现趋势和模式的。它提供了对结果的洞察能力,帮助我们揭示未来的概率,而不是告诉我们过去发生的事情,这跟很多数据分析是不一样,我们是对以往的数据进行加工,得到一个对以往深度学习的一个结论,而机器学习强调的更多是对未来的预测。

  为什么要深度学习?

  传统的机器学习注重的是特征工程,而深度学习关心的是原始数据。有的时候我们强调说深度学习模型的产生和结果我们人是并不了解它里面的推理过程的,我们看到是个黑盒子,原因就在于此,因为数据量非常地庞大,所以只有机器通过大量的运算才可以推导出来这么一个结果,这就是机器学习和深度学习的对比。

  为什么要深度学习?深度学习大概是很早就已经有这样一个概念了,在80年代的时候开始探讨神经网络的时候已经有了一个原始出行出现了,为什么今天会把深度学习拿出来变得炙手可热呢?今天我们面对如此复杂的大数据,大家动不动就是PB、TB这样的规模下,所以我们对性能的要求就注定了我们只能选择有限的一些算法,其中深度学习就是目前看起来最容易达到彼岸的一个桥梁。

  还是以刚才机器学习为例,深度学习是什么呢?如果刚才我们从这张照片得到是熊的话,深度学习可以接触更多的层次和特征来,比如说这是熊,背景是黄石公园,并且它的动作是在觅食。比如说这张图可以判断出来这个目标主体是一个鹰,位置在佛罗里达国家的公园里面,它所处的状态是在学习;类似这样的结果就是深度学习,大家是不是感觉到深度学习非常地玄妙吧。