张宇博士强调,在边缘侧趋向负载整合是物联网演进的一个必然趋势。原来在不同设备上分立的负载会越来越多地通过虚拟化等技术,整合到一个单一的高性能的计算平台上,来实现一个综合的复杂的功能,各个功能子系统既能分享设备提供的计算,存储,网络等资源,同时还能具有一定的独立性,避免彼此的相互影响,从而可以简化系统架构,降低系统总体。同时,负载整合实际上也为边缘计算的实现以及为实施人工智能的应用提供了条件。整合后的设备既是边缘数据的汇聚节点,同时也是边缘控制的中心,这为边缘智能提供了处理所需的数据,同时也提供了控制的入口。因此英特尔认为人工智能和负载整合的结合,会在今后的边缘计算的系统里发生。
利用硬件优势,给用户提供全面合适的解决方案
张宇博士指出,物联网系统一定是一个边缘协同的端到端系统,人工智能会在物联网系统里广泛应用,不仅是在前端,也在后端。物联网中不同的网源所需要的计算力需求不同,再加上人工智能部署,需要不同特性硬件平台以及软硬件协同优化。英特尔提供了端到端的、业界领先的人工智能全栈解决方案,包括:涵盖至强处理器、至强融核处理器、英特尔Nervana神经网络处理器和FPGA、网络以及存储技术等领先而完整的硬件平台,以及多种软件工具及函数库,优化开源框架。值得一提的是,对于边缘计算而言如何平衡功耗和计算力所面临的一大挑战,凭借Movidius领先的单瓦计算能力,英特尔可以为业界提供低功耗、高性能的边缘计算解决方案。对于前端的摄像机来说,对功耗要求严格,使用Movidius这样的低功耗芯片更合适;对于设备偏向于边缘域的连接相机的设备或者服务器服务中心运行算法的,使用FPGA更适合。
目前针对人工智能应用也涌现出AI芯片设计公司,AI芯片未来会是会怎样的发展态势?张宇认为,“现实系统要解决的问题不同,以及在系统里所处的位置不同,对硬件要求、计算要求也不一样,用户要根据不同的要求来选择比较合适的硬件架构。当下的人工智能很多的应用实际是围绕着图象处理,即使像AlphaGo,Alphago下围棋也是把棋盘转变成二维的图像作为输入,然后用神经网络分析得到最终结果,包括权重网络、估值网络等,最后得到下一步棋放在哪个位置赢面最大的结论。但这是不是代表了人工智能的未来?很难说。原因在于以后用人脑或者用机器分析的问题的种类很多,有些可以归结到图像,有些不可以,如果归结到图像可以用卷积来做,如果不能归结到图像是不是有另外一个更有效的架构?随着对处理问题的复杂度越来越高、处理问题的种类越来越多、对问题的认识越来越清晰,可能在今后会找到适于某种特定应用、特定问题的应用架构。”
有了边缘计算和云计算,开发者做设计的时候更关注如何界定边缘计算和云计算?采用哪个更合适?英特尔认为,我们有一个共性的技术需要理解和掌握,就是怎么样使计算架构变得更容易被软件定义。不管是什么样的业务类型都可以更灵活的在云端、在边缘侧,甚至在终端节点上运行。如果没有软件定义的灵活性,我要把工作负载从云端迁移到前端是非常困难的事情,从芯片厂商角度来说我们要做一个这样的考量。
网络优化是人工智能运用于边缘计算的关键
人工智能理论基础尚不完备,这就造成目前很多人工智能很大一部分计算是冗余的,如果想将人工智能用到边缘侧,网络优化是一个关键的技术。英特尔的网络优化思路分三个方面:低比特、剪枝和参数量化。
所谓低比特,在传统的深度学习领域,参数往往是用32比特的单精度浮点来进行表述,但是我们看到,在很多应用场景里,比如在安防领域、机器学习以及机器视觉领域,实际上精度要求没有那么高,英特尔把整个参数的精度在不影响最终的识别率的情况下,从32比特的单精度浮点,转变成16比特的半精,甚至于转变成8比特的整精或者是2比特的整精。随着比特数量不断地降低,存储量和计算量都降低了,这样就可以在原来相对计算能力有限的平台上做更复杂的操作。
剪枝也类似,如果把一个人工智能的网络比喻成一个树枝,这个树的每个不同的分杈,实际上对应的是不同的检测特征。对于不同的应用场景关注的特征不一样,很可能这些处理和检测特征对最终检测是没有效果的。对于没有效果的分支,完全可以剪掉,剪枝能够极大地降低计算。