从2011年年底开始,大数据成了行业内的时髦的名词。那么什么是大数据?
这个世界的数据由两类组成:交易型的数据,是线性的,在牛顿力学的范畴之内,由理性思考的右脑产生并进行逻辑运算;大数据,则是离散的,属于量子力学的范畴,由感性思维的左脑生成情感类的信息。
典型的传统数据多是来自银行的金融交易活动、运营商的计费信息,以及其他公共服务类公司的大量用户信息。但今天,除了线性的交易型数据之外,来自雅虎、谷歌、Facebook这些门户网站、搜索网站和社交网站的用户生成信息,则产生了随机的、发散的、弹性的、爆发式的大数据。相较于传统数据,大数据更能反映这个世界的真实情况,比如,人们会上传和公布大量的图片来记录个人的生活和社会的变化。如今,一天之内人们上传的照片数量就相当于柯达发明胶卷之后拍摄的图像总和。在过去,用于解决大企业交易型数据的计算机并不记录这些信息,只有在云计算产业已经规模化发展 3 年之后,分布式结构计算才给大数据提供了记录的载体。可以说,云计算使大数据变成可能,打个比方,云计算充当了工业革命时期的发动机的角色,而大数据则是电。
总之,云计算带来了硬件存储的条件——更便宜的分布式运算存储,互联网时代的今天呼唤数据应用和服务。技术和需求的双重推动会让越来越多的政府机构、公司企业和个人意识到数据是巨大的经济资产,像货币或黄金一样,它将带来全新的创业方向、商业模式和投资机会。
硅谷与北京零距离
从美国《自然》杂志在2008年9月4日提出大数据的概念,到IBM 定义的大数据4V理论(规模性化Volume、多样性Variety、高速率Velocity和真实性 Veracity),今天硅谷的大数据科技公司已经分成以下三类。
首先,像亚马逊、谷歌和Facebook 这类公司,因其拥有大 量的用户信息,通过对用户信息的大数据分析解决自己公司的精准营销和个性化广告推介等问题。
其次,像IBM和惠普这类公司,是通过整合大数据的信息和应用给其他公司提供硬件+软件+数据的整体解决方案。
最后,新兴的创业公司则通过出售数据和服务更有针对性地提供单个解决方案。这些公司更接近与把大数据商业化、商品化的模式。
第一类公司将改变营销学的根基,精准营销和个性化营销将有针对性地找到用户,多重渠道的营销手段将逐渐消失。第二类公司将改变公司的管理理念和策略制定方式,没有数据分析支撑的决定将越来越不具有可靠性。第三类公司将大数据商品化,这将带来继门户网站、搜索引擎、社交媒体之后的新一波创业浪潮和产业革命。同时,第三类大数据公司的针对性咨询服务会对传统的咨询公司产生强烈的冲击。即使是第二类提供整合服务的科技公司,也会因其系统和软件的垄断封闭性受到第三类开源大数据的挑战。
这三种公司类型在中国也不会有太大的不同。互联网兴起的时代,人们常说中国的科技公司与硅谷有20年的差距,社交媒体时代这个距离缩短至5年,但在大数据的浪潮中硅谷与北京零距离。中国宽带产业基金投资的大数据公司中有很多也是雅虎Hadoop平台的主要工程师,联合投资伙伴也有来自硅谷的杨致远,我们也在和Hortonworks和Cloudera密切合作。在这一轮科技浪潮中,中国企业比任何一次反应速度都快。
我认为还会有新的商业模式出现,就像互联网创造了搜索、电子商务、竞价排名一系列商业模式一样,大数据会孕育更多新的公司类型,这也是大数据最有投资潜力的原因。“数据矿”就在那里,分析平台也已经成熟,现阶段是要用解决问题的视角,寻找数据分析师和懂得商业操作的人才,把数据分析产品化。
大数据的挑战
大数据带来的挑战是跨行业、跨领域的。
在公司内部,从公司的管理层到董事会,都应该认识到大数据即将带来的转型。将公司和行业之外的数据纳入分析并作为决策依据,则是要公司董事会、高管们重新认识的内容。
当移动互联网时代渗透进你的客户、你的员工团队时,公司的决策和管理无法不受到影响。比如,SOHO中国的首席执行官张欣就已经看到传统的营销渠道已经无法准确找到针对性的客户,而微营销、微传播的力量巨大。很多公司也在使用企业内部的Facebook或者Evernote这样的APP来进行信息分享与交流,而传统的企业资源计划(ERP)已经悄然退场。
同时,大数据发展的最大障碍在于数据的“流动性”和“可获取性”。2009年,美国政府创建了Data.gov网站,为大数据敞开了大门,公众能够通过这个网站获得各种政府数据。现在,在印度也有“数据公开”运动。中国要赶上这样一场数据的变革,首先从政府开始公开数据,其次是企业,最后在个人。开放的、流通的数据是时代趋势的要求,闭关锁国最终拒绝的是财富创造。
国有企业也有其独特的优势,集中化的资源使其积累了大量数据,国有企业如何将数据资产化是他们面临的问题。另外,无论是电信行业、金融业还是数字油田的发展,国有企业都要开放API端口,拓展平台,鼓励独立开发者参与国有企业的数据分析。
这是一个大数据的时代,对于成长在这一代的年轻人来说,数据的实时性、公开性、可流通性是毋庸置疑、自然而然的。一个等级的不公平的社会,最大的问题就在于信息的垄断和封闭。这涉及到个人隐私,但也是权力扁平化的社会需要。
云计算和大数据将注定带来一次革命,无论是对社会、公司和个人来说,都是一次世界观的改变。互联网不再是一个展示公司的工具或平台,而是属于未来的生产方式,是关乎竞争和生存的关键。就像工业经济时代,人们无法拒绝用电;个人计算机时代,公司无法拒绝用电脑办公;大数据将带来的是竞争形态的改变,当你的客户都在互联网上,你的市场就在互联网上,如果缺乏对客户数据的判断对市场的了解,缺少的就是核心竞争力——企业的IQ。政府和个人也一样,需要拥抱大数据时代的来临。
田溯宁 中国宽带产业基金董事长