Facebook透露如何为AI和VR打造硬件

「我们已经在人工智能技术方面投入了很多。」Facebook 工程和基础设施(Engineering and Infrastructure)部门 全球老大Jay Parikh说,「目前,人工智能应用于Facebook的Newsfeed,帮助我们提供更好的广告服务。也能帮助用户在日常生活中更安全地使用Facebook。」

Big Sur 系统使用了英伟达Tesla 加速计算平台,拥有8个高性能GPUs,每个功率达300瓦特,在多个PCI-e连接之间灵活配置。Facebook已经优化了这些新型服务器的发热和功耗控制,使其可以与数据中心中配备标准CPU的服务器协同工作。

Big Sur 系统优化了性能和反应时间,帮助Facebook处理更多的数据,极大地缩短了其训练神经网络的时间。

「性能有了极大的提升,」Parikh说,「我们在数月间就部署了数千台这种机器。使得我们有能力将该技术应用于公司更多的产品实例。」

存储:Just a buch of Flash

多年来,Facebook已经在用闪存来加速服务器引导驱动,提升缓存效率。随着公司基础设备进一步扩大规模,Facebook创造了一种新型「模块」,在服务器运算中整合更多的闪存。Facebook已经改进了初代开放计算机——即Knox——的存储驱动器,使用固态硬盘(SSDs)取代存储硬盘存储(HDDs),存储单元从磁盘簇(JBOD)转到了闪存簇(JBOF)。

Facebook和英特尔合作开发这种新型的闪存簇单元,称之为Lighting,反应了使用NVMe带来了速度提升,NVMe是为SSDs优化的高速PCI总线接口。下面我们通过Parikh 在开放计算峰会上展示的幻灯片来看看具体的参数。

作为一个分散式(disaggregated)存储设备,Lightning 支持各种不同的应用。「这为我们正在开发的应用带来了一个高性能存储式的新型建造模块。」Parikh说。Parikh表示将来会有更多存储方面的创新,尤其是创新地使用非易失性存储器(NVM)。

「在存储行业,磁盘驱动器还在持续扩大,但是可靠性和反应时间并未变得更好,IOPS (每秒读写次数)也没有提升。」Parikh 表示,「闪存小有进步,但是耐久性也没有极大地提升。我们陷入这样一个模式:规模在不断扩大,但是从性能的角度看,我们并未获得真正需要的。」

Facebook在新型的NVM应用方面,尤其是英特尔和镁光共同开发的3D XPoint技术,看到了潜在答案。Parikh 呼吁开放计算社区将重点放在该技术上,或能解决存储行业面临的挑战。

Parikh说,我们可以(基于这些选择,指NVM,Flash等不同技术)开始思考我们的存储问题,把存储需求进行分级(按照性能,容量)布局,带给我们更多的价格和性能杠杆,实现性能或者储能的拓展,或者对成本进行优化。他表示NVM 是介于DRAM 和NAND 之间一个值得关注的。

Facebook 正在MyRocks开源项目测试NVM 配置,该项目是基于MYSQL和RocksDB 数据库技术之上。

前路漫漫:为到来的数据洪流进行扩展

Facebook不遗余力地推动更快、性能更强的基础设施建设的原因在于用户增长,目前,Facebook用户数达到10.6亿、WhatsApp 10亿、Facebook Messenger 8亿、Instagram 4亿。扎克伯格在虚拟现实领域的野心也是推动因素之一,Facebook 20亿美元收购虚拟现实先驱Oculus就是明证。

虚拟现实可提供沉浸式3D体验,很多分析人士认为,虚拟现实技术的黄金期即将到来。扎克伯格相信Facebook可赋予其社交网络虚拟现实体验。

「很快,我们将生活在一个人人都可以身临其境般分享和体验全部场景的世界,」扎克伯格在近期的世界移动通信大会(MWC)上说。「想象一下,你可以在任何时候你都可以坐在篝火前,与朋友待在一起;或者在任何时间都可以与朋友们在私人电影院看电影。想象下在全球任意一个角落开会或举办大会。所有这些都将成为现实,这也是为什么Facebook这么早在大力投资虚拟现实,我们真的很希望提供这些社交体验。」

这对基础设施建设提出了极高的要求,完整的虚拟现实视频容量大小是现在的高清视频的20倍之多。

「超大的文件或成为高质量、大规模地推广360视频或虚拟现实的障碍,」Facebook的Evgeny Kuzakov and David Pio 写道,他们近期概述了虚拟现实文件的解码和压缩技术的进展。Facebook 在360视频上正从等距柱状投影布局(equirectangular layouts)迁入使用立方体版式(cube format ),文件大小减少了25%。