大数据这个关键字从去年红到今年,早已成为科技业的重要趋势,研调机构IDC便预测2015年将有超过25%的企业导入巨量资料方案,而美国专业招聘公司罗致恒富(Robert Halt)公布的《2015薪资指南(2015 Salary Guide》更把大数据工程师列为今年薪资涨幅最大的六大行业之一,预计薪资年成长率9.3%,平均年薪119,250美元至168,250美元。
台湾从企业到政府也人人高喊大数据,连向来对新科技接受速度最慢的政府都开始动作。行政院长毛治国甫上任祭出的科技三箭,就有两箭跟数据息息相关,一个是开放资料,一个是大数据,新北市政府日前也推出全国第一个「传统产业大数据应用示范计划」,希望导入大数据分析,帮助金属、机械和纺织等传统产业转型,还在日前的新北大数据论坛活动中请来美国大数据分析与储存技术公司Teradata首席技术长宝立明(Stephen Brobst)来分享大数据趋势。
Teradata中国专区落户36大数据>>>
宝立明此次来台除了出席新北大数据论坛分享大数据趋势,更受邀至行政院与毛治国畅谈开放资料政策,分享美国政府开放资料的经验以供台湾借镜。宝立明去年被ExecBank选为全美排名第四的CTO(前三名分别是亚马逊、特斯拉和英特尔),在2500名顶尖CTO中脱颖而出,他不仅是全球一流的数据专家,更曾成功创立三家提供数据服务的公司,后来陆续被IBM、NCR等大厂并购,他也是欧巴马的创新科技顾问委员会的一员。
身为全球顶尖的大数据专家,宝立明在接受《数位时代》专访时却说,他认为大数据这个词将会在五年内消失,并认为从物理学家到社会学家都会是优秀的数据科学家,以下为宝立明专访的内容摘要:
1. 大数据这个词近年来非常火红,但也有人认为大数据已处在泡沫期,您怎么看这种人人高喊大数据的现象?
我承认现在整个社会上瀰漫着一股大数据热潮,但我认为这不失为一种好现象,因为这让大家注意到这个世界上还有许多尚未被挖掘,并且充满价值的资料,我认为在这股热潮当中,其实是有黄金的,但就像你说的,其实还是有很多人不知道大数据是什么意思,更不知道怎么用他。
他们以为大数据就是指大数目的数据,事实上,我认为这是大数据中最无趣的部分,我们真正在寻找的是非传统的、而且未曾被挖掘过的资料,并且从这些资料中去提炼出价值,我相信在五年内我们就不会再使用「大数据」这个词了,到头来大数据就只是资料而已,不是吗?资料是很重要,但是这个世界上还有一大堆以往根本不被视为是资料的资料在那边等着我们挖掘,到最后,人们会开始回头分析这些资料,他们会发现,大数据不过就只是数据的一种,大数据、小数据、结构化、非结构化的资料…这些称呼通通都不重要,因为这些都是资料啊,这是我认为为什么到最后大数据这个词汇将会退烧的原因。
2. 你认为数据经济以后将会成为每个企业的DNA吗?
是的没错,人们将会依据一家公司是否有效地运用数据,来定义这家公司是否成功。大数据这个词也许是三年前才出现的,但其实它早在十年前就有了,概念比名词出现得更早,在八年前发生了一个比较重大的转变,人们从研究一笔交易变成研究互动,我们开始往下钻研,不只研究一笔交易,更研究真实的顾客体验,因此我认为虽然不是每一个,但许多大数据应用必须要能够更妥善了解顾客的行为和体验。
我认为大数据发展可以分成三阶段:
第一阶段是.com时期,人们研究log资料,搜集人们的Cookie和搜寻行为等等,这类分析已经存在很久了,我们不只知道使用者买了什么东西而已,而是更深层地去分析行为,一笔交易只告诉我价值,但没有告诉我顾客体验,大数据想要去分析的是顾客体验。
第二阶段是社交网站,这也是我们现在正在经历的阶段,我们分析Facebook、Twitter、部落格文章…等等等,这可以帮助我们进一步了解顾客行为。
第三阶段是物联网,这是我觉得最有趣的阶段,有些企业已经开始分析来自传感器的数据了,在这边我说的物联网不只是穿戴式装置或智慧家庭而已,我说的是机器与机器之间的沟通,这些资料的价值很值得被研究。现在制造业都会订下一些规矩,例如我们的汽车每半年就要进厂维修,就跟人每年都要去做健康检查一样,我认为这是非常过时的想法,一旦我们用传感器去搜集引擎、汽车和生理数据,我们就可以精确知道何时需要进厂维修或做健康检查,这就叫做预测性维修(condition based maintenance),这个概念对于促进顾客体验、效益和健康保险等领域非常重要。