云计算大潮有没有退去暂时谁也说不好,而就著名研究机构Gartner的最新调查报告显示,云计算领域还将保持增长趋势,而增长的幅度将会放缓,毕竟云计算已经风风火火了不少时间。而今,和云计算同样没有明确定义的一个新概念越来越流行——“大数据”。而且大数据已经开始改变了IT格局,根据Gartner的数据显示,仅2012年大数据就带动全球280亿美元的IT支出,2013年带动的IT支出规模可望进一步增至340亿美元。而放眼目前IT巨头多是出手延伸整个产业链,很少有只撰于产业链中某一环节的企业,但是现在却有这样一个公司只专注大数据,让我们走近台湾精诚集团云中心,走近Big Data事业部即Etu(“知意图”公司)负责人蒋居裕先生。
回头看 谁走在大数据的前面?
大数据论起源肯定是美国,也流行于美国,并不是因为美国的技术有多么发达,而是因为他们有用户量巨大的互联网服务基础。社交网络、物联网、电子商务起步早,移动设备普及度高等“先天”因素也让他们的数据不再“单纯”,而且单纯的数据格式也无法满足这些业务需要。结构化数据、半结构化数据和非结构化数据的三种类型中,结构化数据目前的传统RDBMS的技术(关系型数据库管理系统)相对于其他技术来说成熟而且性能优势明显,而对于其他两种形式的数据,目前解决方案仍然处于成长甚至是刚刚起步阶段。
对于大数据的产生,可以说毫无疑问的要归功于互联网公司,但实际上并不是只有互联网公司才用到大数据,当下的银行、保险类金融业企业、电信运营商、某些制造业领域的企业、医疗行业等都是大数据的真实而直接的用户。现在互联网、电子商务、快消业的企业因为数据量增长最为迅速,而使得他们的需求走在了大数据的最前端。蒋居裕先生认为这些公司或多或少都有自己的解决方案和技术,而从美国的经验来看,大数据处理平台中一个主流处理技术Hadoop,虽然不是唯一的解决方案,却成为主要的解决方案之一,尤其是2006年被开源以后,近6、7年的发展日趋稳定。
破解大数据误区 Etu提出一体化解决方案
尽管有人说大数据和云计算是截然不同的两个概念,但是不可否认的是二者有着很多交集,甚至是“大数据离不开云”的意味。从硬件层上说分布式存储、虚拟化服务器的弹性支持等都是云计算的重要特性,但也正因如此很多人产生了一些误区。
·误区一、“大数据就是存储”,一种新的存储技术。
而实际上这种“误区”只是认识的片面,主要在于大数据的存储是基础,而更重要的是处理工作,毕竟存储是为进一步处理做准备。所以从这个角度来看,一般人的理解有些错误。所以请记住大数据一定是存储跟计算同时要发生的。
误区二、行业受众小,并非广泛适用。
虽然大数据起源互联网,但因为异构数据的存在,很多传统行业其实需求更加迫切。像图形、图像识别等领域、自动控制领域很多场景都需要大数据的帮助。
当然,还有人会认为结构化数据处理起来相对容易,用不到“大数据”的概念,或者大数据处理可能只是BI,为企业提供商业智能。蒋居裕先生认为除了BI之外,有时候需要做文字或者图形上的搜索;同样,还有一些来自改善用户体验使用的,比如运营商、金融保险类公司。在蒋居裕先生的观点中,对数据进行了一个分层描述:
顶层:Hot Data,这是比较热的数据,它的实时需求最高,在查询之后几秒钟就要得到结果;
中层:Warm Data,有一点温度的,它需要随时查询,它处理的时候不需要几秒钟得到结果;
底层:Cold Data,这类数据最大的特性就是看起来我不会再用到它,只需要从起来就可以了。
而这三层数据中,最容易做的其实就是底层冷数据Cold Data,只要条件允许,这部分数据可以一直沉淀在磁盘上。最直接的入手点就是顶层,大量数据挖掘、数据仓储的案例和解决方案让基于关系型的Hot Data容易被应用。当然完成这所有三层数据的处理工作,已经说明这家公司有一套数据生命周期管理。但重点还是会回到数据本身上,这些所有的数据可以做什么?保存这么数据到底有多大价值?也许这个问题在于是如何找出你跟同行之间不同、如何提供与竞争对手不同服务,让用户体验与同行之间的出发点上。而目前市场来看虽然很多企业有这个需求,但是大部分大数据解决方案都是以项目形式体现,没有一个产品化或者针对某个行业而推出的标准产品推出,这让更多的用户很难去说清楚自己的需求,也对技术实现本身产生了巨大的阻碍,蒋居裕先生认为这样的现状催生了我们推出大数据一体机Etu Appliance的原因之一。Etu其实也是希望通过这样的方式将软/硬件一体的方式交付给用户,用产品化的形式推动大数据市场。