开源Lustre TOP500超级计算机专用文件系统揭秘

Whamcloud,创建于2010年7月,专注于开源Lustre超级计算机文件系统的研制。(中国的天河- 1A系统也在大比例使用Lustre)他们以获得OpenSFS 210万美元的合约,以完善其功能并发展新的特性。

Lustre是HP,Intel,Cluster File System公司联合美国能源部开发的Linux集群并行文件系统。它来源于卡耐基梅隆大学的的研究员Peter Braam在NASD项目研究工作。Lustre优势在于其可扩展性和可靠性,同时可满足大规模并行集群存储系统上的I/O需求。

在世界500强超级计算机的文件系统中Lustre占据60%的份额,该设计支持PB级别的文件,并可高速访问存储在文件系统中的数据。

在2007年Sun Microsystems公司对Cluster File Systems公司的包括Lustre File System在内的知识产权和商务资产等主要资产进行并购。并将技术用于ZFS(Zettabyte File System)之中,同时用于高性能计算市场。

但是Oracle在2010年收购了Sun Microsystems,但Lustre并没有在Oracle的发展计划之中。因为Oracle对传统超级计算机集群并不是很感兴趣。不过Oracle将继续提供对Lustre 1.8业务的支持,但对于Lustre 2.0版本却不提供支持。

Whamcloud是由一批来自美国能源部的Lustre爱好者组建的,并投入大量的资金用于超级计算机的研究。2010年9月公司得到1000万美元的赞助,同时在今年1月更多的Lustre专家从Oracle加入其中。

即使有天使基金的投资,Whamcloud仍然需要更多的资金。前美国洛斯阿拉莫斯国家实验室数据中心的经理(Los Alamos National Laboratory)及现OpenSFS的CEO Norman Morse表示OpenSFS的成员每年要支付50万美元的会费。所以最初的5各成员已经缴纳了250万美元,在未来几个月中还会有400万美元用于Lustre的研发。

Morse表示非营利OpenSFS的贡献者包括超级计算机制造商Cray、HPC存储供应商Data Direct Networks、劳伦斯·利弗摩尔国家实验室(Lawrence Livermore National Laboratory)和橡树岭国家实验室(Oak Ridge National Laboratory)。并已与这些贡献者达成一致,他们将优先发展并投资开发Lustre。

目前,Lustre只有单一的元数据服务器,这是其文件服务的一个瓶颈。所以Whamcloud的开发人员将云数据服务器并行化,以提高容量和吞吐量。另外两个被添加到Lustre的特性是分布式命名空间和文件系统检查。

Whamcloud CEO Brent Gorda表示虽然Lustre拥有高性能的特点。Lustre文件系统已经部署在政府、用于学术研究的超级计算实验室和商业领域,并取得成功。同时在华尔街、石油和天然气行业也是其用户。

传统上,Lustre的管理一直使用CLI(命令行界面)。而今年6月在汉堡举行的国际超级计算机会议上,Whamcloud已经开始开发一个新的GUI(图形用户界面),这将使它更易于管理开源的Lustre文件系统。同时图形用户界面将使其更适合用于云服务。

最后Gorda表示“如果你正在寻找有关IT的工作,也许成为Lustre专家是个不错的选择。Lustre的开发和管理人员有很高的需求。这项技术已经再次被人们重视,并逐渐开始使用它”。