现阶段大数据领域注重数据采集、数据存储、基础计算和可视化等层面,唯独对数据挖掘建模和决策支持这两个硬骨头没有展开深入研究和对接,这是大数据难以落地的根本原因。我们大多数人决策其实是靠感觉、个人经验或别人建议,少部分人会亲自对报表等小数据进行客观数据分析。
而大数据为我们提供了一种更加可靠的决策支持,毕竟数据不会说假话。大数据本身不产生价值,大数据的根本用途是利用大数据挖掘分析对我们的决策提供规律、知识和经验等科学依据,客观上减少面对未来决策的不确定性。所以,以业务决策支持为分析目标,大数据不靠大,小数据也一样有大价值。为什么大数据的价值需要我们自己去定义呢?因为对于未来、对于未知领域,我们每个人或组织面临的不确定性问题是不一样的,有的偏个体(如疾病诊断,犯罪预测),有的偏大众(如广告营销、客户细分),有的偏微观(如基因序列,个性化教育),有的偏宏观(环境监测、天文数据处理),有的关注资源优化配置(如供需匹配,出行服务),有的关注宏观决策(如政府资产分析、综合管控)…可以说大数据分析需求无处不在,而又大不相同。这就需要从自身实际需求和数据、技术现状出发,自行设定大数据分析的价值和应用目标,生搬硬套互联网公司那套做法,不可取。
大数据陷阱:
应用前先问自己几个问题
综上所述,大数据无疑是好东西,很多组织机构也正在规划或建设大数据平台,很多创业玩家也正在计划或进行大数据领域的技术服务或产品研发。但大数据领域面临的陷阱也是不少,光看大数据、云计算、机器学习、数据挖掘、人工智能、深度学习、分布式计算等目不暇接的技术和概念,就够眼花缭乱了,要真正理解各种技术的原理及相互联系就更难,如何才能不畏浮云遮望眼,走出一条扎实的大数据应用落地之路。我以个人粗浅的理解提几个问题供大家参考:
(1)第一问:我属于什么级别的玩家?
大数据的核心优势在于规模效应,你的业务量越大、业务覆盖性越广、数据量越大,大数据投入的成本就越容易被摊薄,而长远获取的大数据应用价值就越巨大。所以,我一直认为政府才是最适合大数据应用的超级玩家,这也是为什么大数据独角兽企业Palantir的产品只有政府定制版(FBI,CIA专用)和金融定制版(华尔街金融巨头专用)的原因!一般企业或个人根本玩不起大数据,小的个体只能像《黑客帝国》的孵化人为Matirx系统提供生物电池一样,为超级玩家贡献数据和技术还差不多。所以做大数据之前,先问问自己,我属于什么级别的玩家。我有特定领域的海量数据吗?有数据科学能力相关的核心技术(应用建模)吗?有机会成为BAT吗?或者降一级有机会成为Uber、滴滴、摩拜吗?研发的产品能否等到大规模应用之时?提供的技术是否符合客户的业务需求?因为一般来讲,大数据的初始投入成本是很高的,自我定位很关键。当然成不了甲方还是可以做乙方,成不了BAT还是有机会被BAT收购的,另外采用敏捷大数据方法论,也有低成本的玩法。
(2)第二问:我是搞技术驱动、业务驱动还是数据驱动?
当前不少公司的大数据产品和服务不接地气,从开始规划上就有一定问题。很多公司都号称自己有云计算和大数据方面的产品和服务,覆盖面从Hadoop、Spark、MPP、NOSQL、OpenStack等,到公有云、私有云、商业智能、人工智能、深度学习等等方面,偌大一片浮云,客观上促进了大数据领域的技术高速发展,可惜最终少有几家能活到赚钱。首先,大数据领域,没有几把刷子是很难玩技术驱动的,像Hadoop,Spark这些基础框架,AlphaGo系统、Nvidia的核心产品等,后面都有一帮名校博士、教授等技术大牛的身影在支持;其次,业务驱动最靠谱,但要有足够的创新和资本支持,最近几年出现的Uber、滴滴、摩拜、Airbnb、23andMe、货车帮等创新公司,就是典型的业务驱动型大数据企业,对传统社会和商业的冲击也是颠覆性的,如果能有极好的创意和资本支持,走这条路发展潜力巨大;而政府和大型垄断国企拥有真正的大数据金矿,有数据+业务驱动的条件,但由于自身管理体制原因或引入的技术实力太弱,大数据的价值远远没有被挖掘出来,当然这也是大机会,我们的国安部门也需要中国版的Palantir。所以大数据应用要接地气,结合自身实力,问问自己搞技术驱动、业务驱动还是数据驱动,是最需要回答的问题。