全社会开放与共享数据还很难,这让数据质量大打折扣。数据增值的关键在于整合,但自由整合的前提是数据的开放。在大数据的时代,开放数据的意义,不仅仅是满足公民的知情权,更在于让大数据时代最重要的生产资料、生活数据自由地流动起来,准确全面应用起来,以推动知识经济和网络经济的发展,促进中国的经济增长由粗放型向精细型转型升级。然而战略观念上的缺失、政府机构协调困难、企业对数据共享的认识不足及投入不够、科学家对大数据的渴望无法满足等都是大数据在当前我国发展应用中不得不面对的困难。
挑战四:大数据管理与决策
大数据的技术挑战显而易见,但其带来的决策挑战更为艰巨。大数据至关重要的方面,就是它会直接影响组织怎样作决策、谁来作决策。在信息有限、获取成本高昂且没有被数字化的时代,组织内作重大决策的人,都是典型的位高权重的人,要不然就是高价请来的拥有专业技能和显赫履历的外部智囊。但是,在今时今日的商业世界中,高管的决策仍然更多地依赖个人经验和直觉,而不是基于数据。
大数据开发的根本目的是以数据分析为基础,帮助人们做出更明智的决策,优化企业和社会运转。哈佛商业评论说,大数据本质上是“一场管理革命”。大数据时代的决策不能仅凭经验,而真正要“拿数据说话”。因此,大数据能够真正发挥作用,深层次看,还要改善我们的管理模式,需要管理方式和架构的与大数据技术工具相适配。这或许是我们最难迈过的一道坎了。
大数据应用领域仍窄小,应用费用过高,制约大数据应用。国内能利用大数据背后产业价值的行业主要集中在金融、电信、能源、证券、烟草等超大型、垄断型企业,其他行业谈大数据价值为时尚早。随着企业内部的资料量愈来愈大,日后大数据将成为IT支出中的主要因素,特别是数据储存所耗费的成本,很可能造成企业负担,甚至望而却步。因此有远见的CIO必须预先做好准备。
挑战五:大数据人才缺口
如果说,以Hadoop为代表的大数据是一头小象,那么企业必须有能够驯服它的驯兽师。在很多企业热烈拥抱这类大数据技术时,精通大数据技术的相关人才也成为一个大缺口。
大数据建设的每个环节都需要依靠专业人员完成,因此,必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。
可以说,真正启动大数据在企业和社会的全面应用,面临的不仅仅是技术和工具问题,更重要的是要转变经营思维和组织架构,才能真正地挖掘这座大数据“金矿”。那么在大数据时代,我们要做哪些应对之策,以握战略制胜之点?
整合与开放是基石
大数据服务创业公司Connotate对800多名商业和IT主管进行了调查。结果显示,60%受调查者称:“目前就说这些大数据投资项目肯定能够带来良好回报尚为时过早。”之所以如此,是由于当前大数据缺乏必需的开放性:数据掌握在不同的部门和企业手中,而这些部门和企业并不愿意分享数据。大数据是通过研究数据的相关性来发现客观规律,这依赖于数据的真实性和广泛性,数据如何做到共享和开放,这是当前大数据发展的软肋和需要解决的大问题。
2012年美国大选,奥巴马因数据整合而受益。在奥巴马的竞选团队中有一个神秘的数据挖掘团队,他们通过对海量数据进行挖掘帮助奥巴马筹集到10亿美元资金;他们通过数据挖掘使竞选广告投放效率提升了14%;他们通过制作“摇摆州”选民的详细模型,每晚实施6.6万次模拟选举,推算奥巴马在“摇摆州”的胜率,并以此来指导资源分配。奥巴马竞选团队相比罗姆尼竞选团队最有优势的地方:对大数据的整合。奥巴马的数据挖掘团队也意识到这个全世界共同的问题:数据分散在过多的数据库中。因此,在前18个月,奥巴马竞选团队就创建了一个单一的庞大数据系统,可以将来自民意调查者、捐资者、现场工作人员、消费者数据库、社交媒体,以及“摇摆州”主要的民主党投票人的信息整合在一起,不仅能告诉竞选团队如何发现选民并获得他们的注意,还帮助数据处理团队预测哪些类型的人有可能被某种特定的事情所说服。正如竞选总指挥吉姆·梅西纳所说,在整个竞选活中,没有数据做支撑的假设很少存在。