当社交网络兴起,移动互连快速发展,数据传感器的大量应用以及云计算带来了新一轮的数据大集中,在这个时代“数据”出现了爆炸式的增长。据统计,2011年中国移动互联网用户数已经达到3.5亿,预计今年可能会突破5亿;目前全球大概已经有1万亿台联网的设备;在过去十年间,全球服务器增加两倍,如今全球服务器数量已达到3190万台;2012年的数字化数据已经达到2.7 ZB,比2011年增加48%...如今,数字宇宙中的数据不仅庞大,而且种类多样,增长快速,“大数据”时代已经来临。
“数据里面有黄金”
继云计算之后,大数据成为时代最为前沿的话题。越来越多的企业开始进行大数据的研究,而传统的IT厂商们也纷纷开始将重心投向大数据领域,试图在这一新的契机中占领先机。那么,大数据到底是什么,又为何独具魅力?虽然目前业内对于大数据还没有一个标准的、教科书式的定义。但对于大数据普遍描述大致有着以下几种:海量的数据;大量增长的交易数据;需要存储并进行监管的数据;爆炸的新数据来源等等。对于大数据中“大”的理解,主要有两个方面,第一种是指大量的、快速增长的数据,第二种则是数据中所蕴含的大的价值和洞察。
对于大数据的第二点普遍认知让大数据变得炙手可热,“数据里面有黄金”,这让大数据充满了诱惑力。麦肯锡全球研究机构在2011年5月发布的《大数据:创新、竞争和生产力的下一个前沿领域》中表示,充分利用大数据可帮助全球个人定位服务提供商增加1000亿美元收入、帮助欧洲公共部门的管理每年提升2500亿美元产值、帮助美国医疗保健行业每年提升3000亿美元产值,并可帮助美国零售业获得60%以上的净利润增长。麦肯锡认为,数据逐渐成为重要的生产因素,人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。
从大数据中挖掘出有用的信息能够帮助企业做出更加正确的决策,分析师认为,企业决策应当更加依靠于数据而不是经验,虽然大数据中非结构化数据要占到大多数,但其中蕴藏着大量有关客户行为和业务运营等重要信息,能够创造巨大的商业价值。最早对大数据感兴趣的是金融业,而后零售、电信、房地产等行业也纷纷发布出利用大数据的成功案例,例如某国际零售巨头通过消费者购买行为的分析,成功提高商品的销量;又如房地产业,从搜索引擎反馈的消费者对房市的搜索结果,甚至能够预测到楼盘的销量。
大数据是把双刃剑
凡事都有两面性,大数据也不例外。
大数据为企业、IT厂商们带来巨大机会的同时,也给企业带来了前所未有的挑战,特别对于IT基础架构而言。数据的快速增长让企业IT基础设施更加庞大而且难于管理,随之而来的还有信息难于整合共享以及能耗的不断飙升。据统计,过去十年间,服务器数量增加2倍,虚拟机数量增加了42%;过去5年间,服务器能耗增加了2倍;自2000年来,安全漏洞增加了8倍。故而,在享受大数据所带来带来的甜饼之前,企业首先要处理好IT基础架构所面对的难题,否则在探索大数据的道路上难免会出现各种障碍。
虽然大数据中蕴含着大价值,但企业想要在大数据中受益,首先数据要“大”,换句话说,目前来看,大数据还并不是适合每一家企业和每一种行业,它更适合那些具有大量的、快速增长数据的企业。就像在沙堆中发现金子,沙堆大了,发现金子的几率也就更大,如果刻意的去从沙堆中寻找金子,金子未必有,即使找到了,所耗费的人力物力也许比金子的价值还要大。比较典型的,金融、零售、电信、房地产、大型电子商务公司等涉及大量数据的企业,也许能更早在大数据中获益,同时,这些企业IT基础架构中的挑战也会更早的浮现出来。
例如电信行业,随着移动互联网的快速发展,电信需要迅速扩大IT基础架构来支撑新业务及不断增加的负载,这就导致服务器蔓延,机房空间快速减少,能耗的开销甚至要达到运营成本一半;同时,由于数据中心服务器架构、配置、操作系统的多样性,运营难度不断提高。在卫生行业,IT基础架构要支撑电子病历和健康档案等文字图像的存储和查询,由于电子病例是要跟踪患者一生,基础数据在以每年30%的速度增长;越来越多的跨地区转诊会诊,需要数据的大集中以提供统一的数据视图。
数据爆发为企业带来了IT基础架构庞大、机房空间捉襟见肘、能耗飙升、管理复杂、运维成本飙升等难题,进行IT基础架构的整合是一个降低IT成本的一个好方法。进行整合能够提高服务器利用率、降低能耗和管理的复杂度,更加容易实现资源的统一调配,能够更加高效的实现大数据的存储、分类、分析和挖掘等工作,因此可以说,整合是应用大数据的一个基础。但是企业应用千姿百态,IT基础架构也有所不同,我们通常看到更多的案例是实现整合后的良好收益,但实现整合也并非像说的那么简单。
整合让数据从分散变得集中,让数据变得很“大”,也就意味着比分布式要面临更大的风险,这包含两方面的考虑:第一,在IT基础架构层面,整合让服务器、存储等设备变得更少,那么,单点故障带来的损失,将会比分布式的部署要严重的多,故而整合时所选择IT设施在安全、可靠性上要比分布式高得多;第二,在数据安全角度,虽然将数据集中到一起保护起来要更加简单,但是也变得更加有诱惑力,一旦数据遭受入侵,遭受的损失也要大得多;故而在进行数据整合中,基础架构的安全性是首要考虑的因素之一。
整合存痛点 安全是关键
如今实现IT基础架构整合的有效方法就是实施虚拟化,虚拟化改变了以往“单机单用”的应用模式,能够实现应用集中,提高系统资源的利用率,有效降低服务器数量及空间占用,降低能耗和制冷等运营成本。但对于那些机房中运行着成百上千个应用、系统平台复杂的用户来说,如何实现虚拟化也是一个难题;另外,虚拟化这种“将所有鸡蛋放进一个篮子”的方式有着天然的安全性隐患,也给不少运营着大量数据的用户带来了担忧。
中国电信某省电信分公司信息化部负责人在接受采访时曾介绍了其数据中心的情况:“大大小小的应用有上百个,分布在数十台服务器上;这些服务器采购时间不同,平台和配置不尽相同,有些是小型机、有些是x86服务器;操作系统也不同,有的是Unix,有的是Linux,还有的服务器已经进行了虚拟化,如何将这些不同平台、不同操作系统的应用进行整合是个难题。”在传统的应用模式中,每个应用是单独购买服务器,由于应用不同,导致平台也不同,这就造成了很多“烟囱式”的信息孤岛,资源难于共享,即使采用虚拟化整合,要将如此多的不同平台整合到少数服务器上,对硬件系统、虚拟化系统的能力和安全性都有着很高的要求。
这位负责人介绍说,这些应用中不乏一些较为关键的应用,如果实施虚拟化,要保证应用的连续性,对虚拟化平台的可靠性及安全性要求较高,对于虚拟化这种将“鸡蛋放到一个篮子”的应用方式,有着很大的挑战。
零售业和餐饮业也是典型的涉及大量数据的行业,根据消费者的行为分析,能够分析出消费者的购买或者消费喜好,从而帮助企业做出更加正确的经营策略。例如沃尔玛是最早进行大数据分析的零售企业之一,成功提高货品销量;Tesco公司经过大数据分析,将超市开到了地铁的墙上;可口可乐利用大数据分析,发现消费者喜好来开发新品。零售和餐饮业有着一些共性:业务数据增长快速、门店众多,其传统的信息化模式往往是一种分布式的“竖井”架构,信息难于共享和管理;如果采用集中式的IT部署模式,则能够大大降低信息的管理难度,实现资源共享,降低运营成本,并更加有利于对大数据的利用。
笔者曾采访过两位国内知名餐饮和零售行业ISV的负责人,这两家公司在餐饮及零售行业有着多年的信息化实施经验。这两位负责人的观点比较一致:虽然集中式的IT部署方式降低了管理难度,能帮助客户降低信息化的成本,但由于涉及到多个门店的业务,进行整合的IT基础架构在可靠性和安全性上要非常高,如果业务中断,或者数据丢失或损坏,将直接影响消费者体验,这为客户带来的损失将是巨大的。故而他们对于整合平台的选择,安全可靠处于第一位,然后才是性能和扩展性。
某省地税的一位信息化负责人也面临着基础架构整合上的难点,这位负责人介绍说,在当前税务行业信息化推进当中,虽然各个单项系统业务功能已非常完善,但由于应用系统之间信息互不衔接,此外部分应用系统也程度不同地存在功能重叠等问题,这都给管理工作带来诸多难点与不便。同时,随着全国省级数据大集中的全面推进,对各国税、地税单位的信息化管理及IT基础架构整合也相应提出了更高的标准和要求。故而,构建未来税务行业IT基础架构的关键就在于整合和简化。
“我们对整合的要求就是设备具有高度的安全性,将数据存储的风险降到最低”,同样,这位信息化负责人对于整合的担忧还是在安全性上,对于税务这类用户来说,整合后的业务系统不容中断,同时数据的大集中要面临更多的安全风险,这是必须要考虑的重点。这位负责人表示,该地税信息化整合所需要的IT基础架构,安全可靠是最先需要考虑的因素。
综上所述,“大数据”所带来的,有机遇也有挑战。的确,数据中有黄金,对大数据进行有效地挖掘分析,能够帮助企业获得更多洞察,做出更加正确的决策,从而占领先机,这也是大数据所蕴含的最大魅力。同时,大数据所带来的,还有对IT基础架构的巨大挑战,这促使客户更加迫切的需要进行整合,从而降低IT的运营成本,将IT投资更多的用于生产、创新而不是运维。另一方面,整合也会给数据带来安全上的风险,那么,在大数据时代,更加安全可靠的IT基础架构,才能更加受到客户的青睐,这也是IT厂商们需要共同努力的一个方向。