前两天有人在微博发问,用什么样的方式讲述大数据和云计算才能非专业人士听的更清楚,其实关于大数据的案例有很多,商业智能分析也多次提到过关于数据挖掘的价值和意义,只不过在今天看数据比以前还多而已,大数据并不可怕,可怕的是他的实时分析能力,会让缺点和真相赤裸裸暴露在人们面前,那么当云计算遭遇大数据一股脑向企业涌进的时候,企业能否驾驭呢?
所谓的大数据主要涵盖3V面向,分别是处理时效(Velocity)、数据格式(Variety)与数据量(Volume);所以大数据并非单一技术,而是众多技术项目的集合体,它们的共同目的,都是在一定时间内处理完大量的结构化、半结构化或非结构化数据。唯有驾驭个中关键技术,方能分析处理大数据,建立商业应用价值。
继续诉说Wal-Mart比父亲更早知道女儿怀孕的故事。2012年初的某一天,美国明尼苏达州有一名父亲,怒气冲冲跑到卖场并质问主管,为何将带有婴儿用品优惠券的广告邮件,寄送给他正在念高中的女儿?此举是否鼓励未成年女生怀孕?
然而后来事实证明,这名父亲的女儿果真怀孕,卖场并非凭空乱洒广告邮件。人们不禁好奇,Wal-Mart何以如此神通广大,竟然能够隔空挖掘真相?答案就在于大数据的实时分析,包括这名女孩搜寻商品的关键词词,以及在社交网站所显露的行为轨迹,其实都已蕴藏丰富价值,足以表明她怀孕的事实,而接下来的时间,她最需要采购哪些商品,答案便呼之欲出。
由此可见,倘若善用巨量资料实时性分析,这些看似枯燥琐碎的资料,立即就能蜕变为饶富价值的资产,造就无穷无尽的商机。它可以帮助精品服饰业者,快速洞察顾客的喜好变化,立即形成最佳的生产销售决策,继而创造源源不断的营收增长动能;它可以帮助投信业者,从Tweets中分析大众的情绪变化,藉以提高股市行情预测的精准度,创造远远优于同业的基金投资报酬率。
也难怪各方都对巨量资料趋之若鹜,譬如美国欧巴马政府即在2012年3月间做成决定,此后将投入高达2亿美元的研究与开发经费,藉以改善巨量资料时代中,所需之开发、搜集、储存、管理、分享与分析工具与技术,以期利用这些技术加速科学及工程上的发现脚步、强化国家安全,并改善相关的教育及学习模式。
大数据为何神乎其神
的确,虽然这些神乎其技的大数据应用,无不让企业心生向往,然而多数IT主管却对于个中技术一半未解,导致影响所属企业商业价值的产出,殊为可惜。
究竟企业如何基于大数据的分析与应用需求,提高其技术整备度?知名研究机构Gartner在其发表的“Hype Cycle for Big Data”当中所呈现的巨量资料优先矩阵(Priority Matrix for Big Data),即已针对众多技术今后的兴衰浮沉,进行大致的预测;如此一来,哪些技术被定位为“革命性(Transformational)”,亟需密切留意,哪些技术处于高度(High)发展的轨道,值得善加运用,而哪些技术大抵维持中度(Moderate)发展格局,未来大起的机会不高,若要为此挹注大量投资,恐需再三思考,企业IT人员心中即有基本的谱图与脉络。
根据Gartner预测,从现在起的两年之内,率先达到革命性等级的技术,便是字段式数据库(Column Store-DBMS),将呈现高度发展者,则为预测分析技术,至于社交媒体监控、Web分析等技术,发展状况持平。如此观之,举凡字段式数据库、预测分析,将会是企业亟需优先布局的标的。
探究字段式数据库之所以抢得头香,其实并不难理解,因为对于数据撷取、保存、使用、分享与分析等用途而言,数据库系统皆堪称是最关键的载体,因此其面对大数据的读写效率、及近实时(Near Real-Time)运算能力的强弱,肯定需要审慎考虑;在此情况下,传统以Row为索引存取基础的数据库,效能显然不彰,无法承担因大数据而衍生的大量工作负载(Work Load),倘若不为此做改变,后头的进阶型分析应用,可说连想都不必再想了。
当然,随着Hadoop大行其道,连带使得诸如BigTable、HBase或Cassandra等Key-Value数据库开始抬头,这些可被统称为“NoSQL”的数据库,不论是Key-Value Database、In-memory Database、Graph Database或Document Database,都有别传统关系数据库结构,似乎都更将贴近大数据的处理需求,既然如此,何不直接采用NoSQL数据库、而非字段式数据库?
事实上,NoSQL另一层意涵为“Not>