浪潮人工智能首席架构师张清,是《MIC高性能计算编程指南》作者,开源深度学习计算框架Caffe-MPI设计者之一。并先后主导完成语音、图像、安全等深度学习GPU项目,并传统HPC、视频大数据等方向多个CPU多核、GPU、MIC、FPGA计算项目。
本文节选自张清在钛坦白的分享。以下根据张清在钛坦白的分享实录整理:
大家好,我是来自浪潮的张清,在分享之前我首先简单的介绍一下浪潮在人工智能方面的工作。浪潮是先进的人工智能计算系统与解决方案提供商,拥有从人工智能计算产品研发、计算系统建设、软件设计、系统运维服务能力,拥有完备的人工智能端到端解决方案、计算系统软硬件产品和应用服务体系,在广泛应用人工智能技术的互联网领域,浪潮计算设备产品在中国大型互联网市场占用率超过80%,成为中国人工智能第一品牌计算设备提供商。
AI的发展趋势
人类已经经过了三次科技革命——蒸汽时代、电气时代和信息时代,每次科技革命的发生都为社会带来巨大的变革和进步。AI时代已经到来,它可能成为第四次科技革命。下面我们来看一下AI市场、行业应用、技术的发展趋势。
AI市场的发展趋势
A市场正在蓬勃发展,我们从近五年人工智能的投资金额发现从2012年到2016年,年均增长率达到50%以上,截止到2016年,它的投资金额达到42.5亿美元,AI近五年M&A和IPO的数量年均增长率为49.85%,2016年已达到68项,2020年AI整个的市场规模将达到480亿美元。(数据来源:CB Insights)
AI行业应用的发展趋势
2011年,谷歌和微软研究院的语音识别方向研究专家先后采用深度神经网络技术将语音识别的错误率降低20%~30%,这是长期以来语音识别研究领域取得的重大突破。2012年,深度神经网络在图像识别应用方面也获得重大进展,在ImageNet评测问题中将原来的错误率降低了9%,随着AI在语音和图像识别的巨大成功,互联网行业越来越多的用户开始应用AI。从2015年开始,传统行业越来越多的用户也开始应用AI,比如金融企业、医疗企业、汽车厂商和安防企业等。今年,我们也看到很多传统科学计算用户开始研究AI技术,如气象和石油勘探用户,利用 AI技术来提高相关应用的预测精度。
总的来说,AI行业应用用户已经从目前最为火热的互联网行业用户,逐步发展到传统企业用户和科学计算HPC用户。
AI技术的发展趋势
我们先看两个例子,第一个是图像识别方面的Imagenet比赛,2012年Imagenet比赛冠军网络模型是Alexnet,它只有8层,训练所需要的计算量是相对比较小的,每一张图片只要1.4GFlop,所训练出来的模型的精度达到84%,也就是错误率为16%。到了2015年,经过三年的发展,Imagenet比赛的冠军网络模型是微软设计的Resnet,其变得更加复杂,模型的层数达到152层,层数是Alexnet的19倍,每一张图片所需要计算量大大提高,达到22GFlop,但错误率下降为3.5%。
另一个例子更加惊人,是关于语音识别。百度设计的语音识别模型,2014年有2500万的参数,训练的数据量是7000小时的语料,8%的错误率。2015年的训练数据是此前的2倍,深度学习网络是原来的4倍大,2倍的数据量,4倍的网络复杂性,实现的错误率是5%,但是需要付出什么样的代价?就是计算量的增长。
所以我们从这两个例子可以看出,AI技术的发展趋势是朝着大数据+大模型+大计算方向发展,采用更大的模型和数据会使训练出来的模型的精度大幅提高,但这需要更大的计算资源作为支撑。
AI面临的挑战及计算解决方案
AI主要面临三个方面的挑战:
1.一是需要获取足够多的标注的数据用于模型的训练;