大数据的浪潮有多迅猛?IDC在2006年估计全世界产生的数据量是0.18ZB(1ZB=100万PB),而今年这个数字已经提升了一个数量级,达到1.8ZB,差不多对应全世界每个人一块100多GB的硬盘。这种增长还在加速,预计2015年将达到近8ZB。就目前来看,大数据处理正面临三大瓶颈——大容量、多格式和速度,而与之对应的解决方案也被提出,那就是扩展性、开放性和下一代存储技术。
容量——高扩展性
数据正从TB级扩展到PB级甚至EB级,人们和机器制造的越来越多的业务数据对IT系统带来了更大的挑战,数据的存储和安全以及在未来访问和使用这些数据已成为难点。
那么,未来的系统架构应当是怎样的呢?传统系统架构,无论是较早的Monolithic还是现在的Modular架构,都基于Scale-up设计,这种传统模式不可避免的让存储系统会遇到性能瓶颈问题,存储系统必然会出现性能拐点。加上现在的信息环境决定了用户数据量处于一个快速增加的状态,用户对功能和扩展性方面的需求愈加强烈。传统存储架构物理组件和逻辑约束等方面有其上限(比如磁盘数量、服务器数量、缓存大小、控制器数目等),决定了Scale-UP架构有其巨大的局限性。
因此,面对大数据,具备高扩展性的Scale out架构已是必然的需求,越来越多的企业都开始采用开放架构,并用Scale—out储存加VM>