大数据时代已经到来,如何处理和利用庞大的信息,是众多企业所面临的新问题。
现在,众多的社会活动及企业活动都离不开IT,而在这些活动中必然产生庞大的信息。随着移动宽带和移动通信产品的日益普及,更加速了这一趋势。“信息爆炸”要求企业系统能够正确分析和处理大量而复杂的信息数据,但是,依靠以往的技术则很难做到。
只有能解决大数据问题的企业,才能从商务变革中获得商机。
要知道,大数据的种类多种多样,比如,在进行金融交易、购买、服务活动时,在记录器上以及产品制造过程中都会产生数据;如果能够快速处理这些数据,不仅现有的产品及服务的效率得到提高,而且以往的人工业务也通过计算机自动化,得以改善或提供崭新的服务。这样一来,不同的商务领域,都将发现新的商机。
处理大数据的系统要做到:
- 处理庞大的数据;
- 快速处理数据;
- 根据数据规模,灵活扩展;
- 满足费用的合理。
只有同时满足以上4个条件,企业才能从大数据中获得商业利益。以往的技术能处理数百GB的数据,但是处理百万亿兆规模的数据时,就会遇到诸如无法应对、处理能力不足、无法灵活扩展以及耗费成本等问题。
从技术层面,在满足商业利益的前提下,能够解决上述问题的关键是内存即采取利用RAM(随机存取存蓄器)处理数据的方法。在以往的硬盘驱动器上,无法满足现有的性能要求。即使是速度更快的固态硬盘(SSD)和闪存也是远远不够的。可以利用比HDD性价比更高的RAM。RAM具有HDD、SSD和闪存无法比拟的性能。
而且,软件方面Java是解决很多问题的关键。Java具有垃圾回收(GC)这一优良的数据管理功能,即当需要分配的内存空间不再使用时,JVM将调用垃圾回收机制来回收内存空间,从而大大提高内存的利用效率。但是GC也有它的问题,就是当通过GC内存得以释放时,应用软件也会停止。
虽然随着64(bit)中央处理器的普及,相当容量的内存是能够分配的,但是内存量越大,因GC而引起的软件停止时间也就越长。对于要求具备更高性能的系统而言,这是致命的弱点。处理大数据的系统必须解决这个问题。
Terracotta已成功地开发出能够快速处理大数据的技术。在利用Java应用软件的同时,包括财富2000在内的50万以上的商业用户采用了大数据解决方案,并取得很大的成效。
Terracotta提供的解决方案中,核心产品有两个。一是Enterprise Ehcache(缓存),它是通过Java商务系统,把大量的数据存储在外部高速缓冲存储器内,以提高应用软件的性能。二是BigMemory,它支持进程内的堆外缓存,可用来存储应用相关的大批量数据。
通过这两项产品实现的内存数据管理环境,并不依赖于特定的操作系统和Java环境以及数据库。当把这两个产品安装于软件服务器和数据存储区之间时,后部的各种数据库数据库就变成一个抽象化的巨大数据库,能快速处理数据库里的数据和文件。
安装于Java记忆領域外部时,GC(垃圾回收机制即自动内存)的前述的問題也就迎刃而解了。
与此同时,此项数据管理环境,是在产品服务器上运行,通过增加服务器,使数据放置区域Scale Up。经过这个方法,上述4个问题可以同时得到解决。
Terracotta客户中,比如VISA和提供在线支付服务的PayPal,为了解决因信用卡和在线结算而产生的不正行为问题,就利用了Terracotta的大数据解决方案。
在检查不正行为时,需要对庞大的数据进行高速的分析处理。以往虽然使用高价的硬件和数据库,但其效果却不尽人意。各公司在利用Terracotta大数据解决方案后,成功地创造了及时分析数TB数据的环境。
VISA过去处理1件不正行为,通常需要花费十几分钟,而利用我们的大数据解决方案后,所需时间缩短到仅仅几秒钟。
除此而外,澳大利亚最大的通讯公司Telstra 就用CRM(客户关系管理系统),管理绝大部分的顾客信息。运用大型电脑和开放环境的RDB(关系数据库)处理CRM时,因为需要参照数据库内的客户信息,所以处理一件平均要花费30秒。由于公司和顾客之间的95%的点击来自客服中心,公司在运营客服中心上每年都要投入10亿美元。公司曾经考虑将客服中心转到网站上,但因参照顾客信息还是要花费30秒而不得不放弃。
在此情况下,该公司就启动了Terracotta大数据解决方案,采取了将数据库中的顾客数据内存后再加以处理的方式。通过这种方式,成功地把参照处理所需时间缩短到30毫秒。预计,几年后公司顾客信息的规模将从目前的10TB,增加到100TB。
这样,TelstraCRM系统的速度得以提高后,在成功地降低成本的同时,服务也得到提高。公司认为,利用Terracotta大数据解决方案将会解决解约问题,并通过实施交叉销售,大幅度提高销售额。
由此可见,该公司的内存数据库管理的解决方案,不仅可以解决以往的问题,还可以成为推动商务变革的巨大动力。
本文作者是美国Terracotta公司总经理,他是商务软件方面的专家,有着20年以上的工作经验。在他的领导下,Terracotta在处理大数据方面成效显著。目前,Terracotta为世界众多由于“信息爆炸”而面临商务变革的企业提供解决了方案。