Facebook日前公布了其位于俄勒冈州普利维尔数据中心的新技术基础架构的细节,包括定制服务器、机架以及UPS。这是Facebook第一个自建的数据中心。
Facebook技术业务的副总裁Jonathan Heiliger称,普利维尔数据中心的PUE是1.07,这意味着该数据中心是业内最节能的数据中心。
制冷设计
Facebook采纳了双层架构,将服务器和制冷设备分开,允许对服务器占地面积的最大利用。Facebook选择通过数据中心的上半部分管理制冷供应,因此冷空气可以从顶部进入服务器空间,利用冷空气下降热空气上升的自然循环,避免使用气压实现下送风。
俄勒冈州凉爽、干燥的气候是Facebook决定将其数据中心放在普利维尔的关键因素。“这是蒸发冷却的理想地点,”Facebook数据中心工程主管JayPark说。过去50年来,普利维尔的温度从未超过105华氏度(约40.56摄氏度)。
空气通过在二楼的一组换气扇进入数据中心。然后空气经过一个混调室,在这里冷空气可以和服务器的余热混合以调整温度。然后冷空气经过一系列的空气过滤器,在最后一间过滤室,通过小型喷头进一步控制温度和湿度。空气继续通过另一个过滤器,吸收水雾,然后通过一个风扇墙,将空气通过地板的开口吹入服务器区域。整个冷却系统都位于二楼,空气直接吹向服务器,无需风道。
“这一系统的美妙之处在于,我们没有任何的管道系统,”Park说。“空气直接进入数据大厅,压入整个数据中心。”
机架和服务器
冷空气然后进入定制的机架,这些机架三个一组,每个包括30个1.5U的Facebook服务器。为了避免浪费,服务器也是定制的,服务器内部的英特尔和AMD主板被分拆成一些基本的必需部件,以节省成本。机箱体积比一般机箱大,这意味着能够容下更大的散热器和风扇,也意味着需要更少的外界空气用于降温。“我们去掉了所有没用的东西,”Facebook硬件工程师AmirMichael说。“稍高一点的底盘让我们能使用更高的散热片。相对常规的40毫米风扇,我们也能用更大、更有效的60毫米风扇。”
布线和电源都放在服务器的前方,因此Facebook的运维人员可以在凉爽的通道维护机器,而不用站在温度高达100华氏度(约37.8摄氏度)的机器后部操作。
UPS和电源分配
Facebook特别注重的一块是电源分配,传统的数据中心都是使用不间断电源,在AC-DC的转换中形成了功耗。“我们对这一电源设计的效率投入了大量精力,”Michael说。
Facebook数据中心采用定制的供电设备,可以适用277V交流电源,而不是普通的208V,这使得电能可以直接接入服务器,不需要经过交流到直流的转换,从而避免了电能损耗。供电设备由Facebook设计,台达电子以及加州宝威电源(PowerOne)生产。
UPS系统呢?Facebook原先计划在服务器上安装车载电池,最终装得是in-rowUPS单元,每组服务器之间放置一套UPS,在断电时提供后备电源。每个UPS系统包括20块电池,有五串48V直流电池。Facebook的电源供应包括两部分,一个是交流市电,另一个是直流UPS系统。