进入云计算时代以来,数据生产成本急速下降,以非结构化、半结构化类型为主的数据呈爆炸式增长,从而催生了一个影响巨大、前景可观的新兴产业大数据产业。
大数据是所有数据的集合,具有4V特征,即数据量大(Volume)、数据类型多样(Variety)、生成速度快(Velocity),以及蕴含巨大价值(Value)。权威机构2011年发布的统计数据显示,全球数据总量每过两年就会增长一倍,预计到2020年人类拥有的数据总量将会达到惊人的35万亿GB。新增数据中,90%以上属于传统技术难以处理的非结构化数据,比如音视频、图片、网页等。大数据所蕴含的价值往往具有较强的时效性,如果特定时间内不能完成处理,很多实用价值就会消失,比如气象数据。
所谓大数据技术,就是从海量复杂数据中获得信息所需要的软件、硬件和服务技术。该技术能够为社会、政治、经济、文化等领域的活动提供智力支持,对人类的决策模式和社会经济的运行模式产生深远的影响。
大数据技术可以有效改善企业的数据资源利用能力,提高从数据到信息的转化率,让企业的决策更为准确,从而提高整体运营效率。美国得克萨斯大学对各个行业和大型企业的数据利用率和人均产出率进行了广泛研究,结果显示,数据利用率提高10%,财富100强中的企业人均产出提高14.4%,零售、咨询服务行业人均产出分别提高49%、39%,即使食品、建筑、钢铁等传统行业人均产出都可提高20%以上。大数据技术还可以帮助企业开辟全新的业务形态。传统银行由于成本高、风险大,一直不愿意向中小企业提供贷款,但阿里巴巴2010年开展的淘宝网中小企业无敌眼贷款,至今累计坏账率也仅有1.94%,而且盈利可观,其原因就是阿里巴巴通过对淘宝网客户交易记录进行分析,能够以极低的成本准确评定每个商户的信用等级。
大数据技术能够帮助政府创新社会管理模式,改善公众服务能力。美国警察部门已经使用大数据技术对历史性逮捕模式、发薪日、体育项目、降雨天气和假日等变量进行分析,从而优化警力配置。在突发事件判断和应对方面,大数据技术可以发挥更大的作用。2011年3月美国国家海洋和大气管理局(NOAA)在大数据技术的支持下在日本大地震发生9分钟后就发布了详细的海啸预警,并拟定了详细的应急方案,制作了海啸影响模型发布在YouTube等网站,成为政府应对突发灾害的典范。
总之,大数据是一个事关国家社会发展全局的产业。世界各国以大数据为核心的新一轮产业竞赛已经拉开大幕。美国已经公布大数据研究和发展计划,仅2012年投资额就高达2亿美元。据统计,2010—2015年全球大数据市场年均复合增长超过50%,2015年将超过170亿美元,而且中国市场潜力最大,远景规模接近2万亿元。
对中国而言,社会经济发展方式的全面转型是“十二五”乃至更长时期的战略任务,大数据产业对完成这一战略任务意义重大,需要政府从全局角度进行统筹规划。
在我国,互联网是大数据技术发展和应用最快的领域,以百度、淘宝等为代表的运营商已初具规模,由其提供的服务也成为大众对大数据体验和认识的主要来源。但比互联网更为重要的,是行业应用。首先,大数据技术在行业领域的普及过程就是该技术改造升级传统经济形式的过程,对于社会转型升级具有更为直接的推动作用;其次,行业客户整体规模远数倍于互联网,是市场的主要组成部分。我国经过多年的信息化建设,积淀了大量的数据资产,各个行业机构迫切将数据转化为对外服务,转化为业务竞争力。
大数据的行业应用不同于互联网,将面临许多新的技术挑战,需要业内同行共同努力。