目前,大数据已成为全球的热点话题。Gartner将大数据列为2012年CIO最关注的技术方向,IDC也认为大数据是企业能力储备最重要的一个方面。在近日举行的2012 Teradata数据仓库暨企业分析峰会上,业界大佬热议“数据金矿”,憧憬大数据时代的美好前景。
中云记者有幸采访了Teradata天睿公司首席技术官宝立明(Stephen·Brobst),就Teradata如何应对大数据时代的挑战、大数据发展现状和未来发展方向灯问题做了深入探讨。
背景介绍
Teradata天睿公司是全球领先的数据仓库和整合营销管理解决方案供应商,专注于数据仓库软件,数据仓库专用平台及企业分析方案,是全球企业级数据仓库解决方案领导厂商,是用于世界上最大的商用数据库的关系数据库管理系统,致力于协助客户制定更明智、更有效的决策,赋予企业不断增长的原动力。2010年12月,Teradata斥资5.25亿美元收购云计算软件公司Aprimo,进一步拓展云计算领域,应对IBM和甲骨文等大型厂商的竞争;2011年3月,Teradata收购高级分析和管理各种非结构化数据的市场领导者和开拓者Aster Data Systems Inc.。在不到半年的时间里,Teradata凭借两次收购行为迅速扩张了自身的业务范围,瞄准目前市场最为火热、最具发展前景的两个领域—云计算和大数据。
两起收购意在应对大数据的挑战
记者:Teradata天睿公司为什么收购Aprimo,与下一个技术热点——消费智能之间有联系吗?
宝立明:消费智能可以吸引更多的消费者像公司一样做出个人决策,我们可以通过消费智能向消费者提供更多的内容,让消费者选择自己所需的产品和服务。现在整个行业经历从外向市场向内向市场的转型,这也是Aprimo公司非常强大的一个方面,除了收购Aprimo公司之外,我们还收购了其他一些公司,帮助提供内向市场或消费智能的功能。
另外Aprimo公司在分析以及整合营销管理方面是一个领先的解决方案提供商,而Teradata天睿公司在活动管理方面也具有非常强大的能力,所以这一收购是一次强强联合,巩固了Teradata天睿公司的市场地位,另外更深入的原因是Aprimo公司在软件即服务方面也有非常强大的能力。在收购Aprimo之后,可以把Teradata天睿公司所有应用放在Aprimo的软件即服务平台上,以更大程度优化Teradata天睿公司的能力。
记者:Teradata天睿公司原来是一个企业级的数据仓库的厂商,现在面向消费市场,另外Aprimo的整合营销软件其实是针对消费类的或者与更前端的一些客户相关的,这是不是意味着Teradata天睿公司有一些新的战略方向,未来公司的发展有哪些改变?
宝立明:我认为这是公司战略的一个演进和扩展,Teradata天睿公司一直为客户提供动态的数据仓库解决方案,现在会更多的去看整个价值链上所有相关人员。
一个企业的价值链包含员工、客户,这些客户可能是企业的具有战略意义的供应商。例如,沃尔玛这样的企业会拥有很多具有战略意义的供应商,包括宝洁或者联合利华这样的消费品公司,沃尔玛的员工也会需要这些供应商的相关信息或数据,所以消费智能应该是未来的一个重大概念,消费者可能会访问到某个公司员工会用到的一些网站信息和数据。
消费智能更多的是对整个企业数据仓库的一种扩展,希望能够让智能为所有人或者更多人所使用,而Aprimo所做的数据分析在整合营销管理中也会得到充分的应用。从战略方面可能会有一些不同的地方,最大的不同之处就是消费智能或Aprimo所具备的整合营销管理中强大的数据分析能力,是不同于Aster Data公司所具备的数据发现平台的。Aster Data公司具备一个强大的数据发现平台,这个平台更多的为数据科学家所用。
记者:Teradata天睿公司未来技术研发的重点是什么,怎么去平衡结构化和非结构化数据分析?
宝立明:Teradata天睿公司关注各种不同技术的共同应用,帮助企业用户和消费者做出更好的决策。过去Teradata平台的数据都是关系型传统数据,收购Aster Data之后,我们能够处理非关系型数据。至于大数据分析能力,Aster Data公司有自己的文件系统,一些编程的变化和体系与原来的Teradata平台是完全不同的,它提供数据分析的扩展能力,扩展到其他不同类型的非关系型数据。我们在将来会对Aster Data公司的文件系统建设和相关的数据分析工具加大投入。
Teradata天睿公司研发部门会加大软件方面的投入,加大对图形或文本的处理方面的研发力度,除了传统的技术之外,一些新的技术也是我们研发的重点我觉得最关键的一点不仅是我们在研发方面能够做多少创新,SQL MapReduce这样的分析工具能够加快创新速度,使咨询人员或客户能够用到更多的分析算法来解决面临的问题和挑战。
在实地所进行的开发工作比在实验室中进行的创新或研发更加重要。
记者:市场上有很多做大数据分析的公司,Teradata天睿公司收购Aster Data,是因为看中了Aster Data在技术和市场方面哪些独特的优势?
宝立明:现在大数据是一个非常热的话题,有很多公司宣称具有大数据分析的功能或技术,但其中一些公司可能只是能够处理大量数据而已,而Aster Data公司具备处理多结构数据功能,它的文件系统可以改变整个存储数据的形状,比如说可以把数据存在一个列当中,或者把数据存在一个图形或是一些文本中。
这种文件系统可改变的能力就是Aster Data公司独有的,是其他那些所谓有大数据分析能力的公司不具备的;此外,Aster Data还具备一个非常独特的分析工具叫做SQL-MapReduce,是一种编程的分析工具,最初在谷歌公司有相关的应用。SQL-MapReduce比Hadoop具备更简单易用的功能,可以和它的文件系统绑在一起,以此实现比Hadoop更高的效率。这也是AsterData的一个独特之处,其编程分析的能力要远远地高于最初SQL的分析能力,更加简单易用。
新技术不断出现,大数据成为市场发展的一个趋势,我们在收购过程中,也比较了其他一些公司,但是我们发现他们只是能够处理大量的数据,但是Aster Data不同,它不仅考虑到数据量的增加、扩大,还考虑到数据多样性,具备多样性数据分析的能力,所以这就是我们选择Aster Data而拒绝其他公司的原因。Teradata天睿公司一直就有处理大量数据的能力,现在需要考虑多样性数据。
记者:未来Teradata跟Aster Data发展平台会分开吗?
宝立明:Aster Data公司的任务是要更快地进行大数据分析方面的技术创新,Aster Data公司和Teradata天睿公司在技术和研发方面有很多相互交流,Teradata天睿公司会向Aster Data公司提供一些相关技术方面的支持,Aster Data有任何技术创新成就也会交给Teradata去实践和应用,但是两个公司之间的研发部门是完全分开的,分开的原因是为了更快速地在技术上实现一些创新,Aster Data需要能够非常快速地进行大数据分析方面的研发创新,例如刚才提到的文件系统或者一些文本或图形处理系统,如果把两个公司的研发系统综合在一起做,很大程度上就会拖缓创新的速度。
但是两家公司在平台上有很强的互通性和互操作性的,也就是说Teradata可以看到Aster Data所做的一些工作,反之亦然。在整个生态系统中我们可以同步看到这些数据,这使得数据的分析使用变得非常简单易用,这个生态系统使得我们双方之间具备很强的互操作性。
记者:如果客户既需要分析结构化的数据,也需要分析非结构化的数据,那是不是意味着要去分别购买Teradata和Aster Data的产品呢?
宝立明:这是两种不同的技术,是分隔开来的技术,但是本身又具备互操作性,Teradata天睿公司具备处理结构化数据和非结构化数据的能力,如果你需要大数据分析的能力你可以去Aster公司购买,但如果需要传统的关系型数据分析能力,你也可以来Teradata天睿公司购买。两者是整合在一起的,如果两者都需要你就可以从我们这里获得两种,也可以分开来获得,即可以从Aster Data获得大数据的分析能力,从Teradata获得关系型数据分析能力。
记者:Aster Data的优势在于SQL-MapReduce这个技术,但是中国客户更喜欢开源的软件,这样是否是一个矛盾?
宝立明:这两者之间的确有一个灰色区域存在,但是要看如何平衡。两个平台在效率、复杂性方面各有千秋,SQL-MapReduce分析工具以人们已经熟悉的SQL作为基础,所以产生价值的时间应该更快一些。而Hadoop需要先写程序才能得出最终的数据分析价值,所以相较于SQL-MapReduce,它产生价值的时间稍慢一些,其间企业可能丢失其它一些发展机会。但Hadoop是一个免费软件,可以下载,所以费用上会有优势,所以在产生价值的时间和费用问题上企业需要做出权衡、取舍。
当然,有时所谓的免费不一定是完全免费,比如当你要用Hadoop时,用到的服务器可能会是SQL-MapReduce所用服务器的十倍,软件本身免费,但是服务器不免费;另外服务器所消耗的电力和占地面积都需要花钱,如在加州地区,你需要交三年的电费,可以免费把服务器送给你。这时要考虑总拥有成本的问题,而不单是看这个软件许可证的费用。
此前,Teradata一直致力于提供企业级数据库的关系数据库的管理系统,但随着物联网、移动互联网及云计算的发展,非结构化数据呈现爆炸式增长,个人消费者也更加关注数据,如何掘金非结构化数据,并将自身业务拓展至个人消费者领域成为Teradata需要解决的问题。通过收购Aprimo和Aster Data这两家分别在个人消费市场整合营销领域和非结构化数据分析领域领先的公司,Teradata不仅很好的解决了面临的问题,而且拓展了自身的业务范围,为将来占据更大的市场份额打下了良好的基础。
中国“大数据”的发展现状和问题
记者:目前看来,大数据现在还是处于概念火热期,您认为业务爆发增长期在什么时候?
宝立明:我认为很多公司已经在真正意义上去实施大数据分析了,只是在中国可能人们更多的把大数据当作一个概念性的东西,认为它仍然处在一个探索阶段。上两周我见过很多人,和他们谈到大数据在中国的发展,他们对大数据非常感兴趣。Teradata天睿公司希望能够大规模地把大数据分析能力和技术引入中国市场,而且我们要寻求一些突破,使大数据的分析最终成为一个主流技术。
对很多客户来说,他们购买大数据的技术或分析能力,是希望解决自己所面临的问题。过去可能需要做一些相应的编程工作,才能够看到问题所在,现在Aster Data公司的SQL-MapReduce分析工具能够帮助客户很快地解决问题,所以很多互联网公司都愿意使用。这些公司中的一些人过去对SQL工具非常熟知,使用过SQL进行数据分析,现在SQL-MapReduce和SQL有很多相似之处,非常了解SQL的人在使用SQL-MapReduce时会很轻松。
记者:中美两国在市场环境发展状况的很多方面都是不一样的,您认为在中国推广大数据产品业务会遇到什么困难?
宝立明:中国市场是一个规模很大的市场,中国一个很小的银行可能相当于美国最大的银行,这对于Teradata天睿公司来说是一个很好的机会。Teradata天睿公司一直都非常关注自己的解决方案所具备的可伸展性,这是收购Aster Data一个很重要的原因,Aster Data提供的解决方案具备很强的可伸展性。另外,中国市场消费者对于价格非常敏感,人们需要处理海量数据——大数据的技术,但是又不想花太多的钱,在中国市场上人们分析每个字节的数据愿意花费的价钱远远低于在美国人们愿意为每个字节花费的价钱,所以如果我们具备很强的数据压缩能力,能够在经济性方面带来很大益处。
Aster Data也引入了很强的数据压缩能力,在经济性方面是一个很好的选择。另外在中国市场上人们更喜欢使用免费软件,或者说开源软件,像Hadoop这样的一些分析工具就具备开源的能力,这是非常符合中国市场的需求的。Aster Data和Teradata,在开源工具或分析能力和解决方案的提供方面也会进行更多的投入,这对于把大数据解决方案引入中国非常重要。
中国和美国市场的不同在于要解决的问题不同,在美国市场上更多的要解决优化问题,因为美国市场是一个成熟的市场,引入解决方案要能够帮助这些客户节约更多资金或创造更多利润;但中国市场则要解决促进增长的问题,怎么获取更多的客户,怎么利用现有客户创造更多的收入。
云计算的发展为“掘金”大数据提供了非常有利的基础条件和必要工具。中国市场的“大规模”特性也为大数据分析技术的提出了发展需求,同时国内外企业都看到了中国市场在大数据分析领域蕴藏的巨大潜力,纷纷通过各种方式抢占市场先机。但由于中国市场上的消费者有着其自身的特性,很多外来企业短期内并不能完全洞察这些特性,或者即使看到这些特性,也不会迅速的“因地制宜”,这为国内厂商提供了极其有利的抢占市场先机的机会。