大数据概念虽然非常火爆,但少有人真正理解大数据的核心内容。一个普遍而且严重的误解就是:大数据 = 数据大,即大数据就是量大的数据。事实上,除了数据量大这个字面意义,大数据还有两个更重要的特征:
1) 跨领域数据的交叉融合。相同领域数据量的增加是加法效应,不同领域数据的融合是乘法效应
2) 数据的流动。数据必须流动,流动产生价值
对于第 1) 点,百分点推荐系统研究中心实验结果显示:百分点公司有 3 家客户,分别是从事服装、化妆品和箱包销售的电商,百分点向这 3 家客户提供个性化商品推荐服务,即:百分点挖掘用户的偏好,不同的用户上同一家电商网站时,向他们展现不同的服装、化妆品或箱包,从而提高电商的转化率和客单价。我们做过两种测试:
a) 将每家网站的数据隔离。当每家网站自身的数据量增加到以前的 4 倍时,推荐效果大约能提高 5%;
b) 将三家网站的数据在去除敏感信息之后进行某种融合。融合后的数据大致是与单家网站的数据的 3 倍,比第一种情况数据量还少。但利用融合后的数据进行数据挖掘时,推荐效果能提升 30%,而且推荐商品并未发生变化,仍然是:用户上服饰类网站时只看见服装、上化妆品网站时只看见化妆品、上箱包网站时只看见箱包。
解释得详细一点,上述实验说明:对同一个消费者,如果我们要向其推荐服装。第一种方法是我们根据他过去的 4 次购买服装的行为来预测其下一次可能会购买的服饰;第二种方法是我们根据他过去分别购买服装、化妆品和箱包的各 1 次行为来预测其下一次可能会购买的服饰。两种方法的基于的用户行数分别是 4 次和 3 次,但第二种方法的效果明显更好。
对于第 2) 点,其实 10 多年前传统企业开始做数据仓库时,数据仓库从业者经常强调一个观点:企业级数据仓库的目标是让不同部门的数据流动起来,各个部门数据割裂,数据的价值就得不到发挥。到了今天的互联网时代,我们发现即使企业已经打通了内部各个部门之间的数据,但与整个互联网比起来,数据量仍然微乎其微,数据应该以互联网为媒介在企业之间某种形式的流动。参照“企业级数据仓库”的概念,现在已经开始出现了“互联网数据仓库”的概念:就是企业通过互联网渠道将与自己相关的外部数据与内部数据进行整合,从而形成“互联网数据仓库”。百分点已经在零售与媒体领域比较成功地打造了“开放数据联盟”,该联盟的成员可以在公允、安全的情况下基于该联盟建立起自己的“互联网数据仓库”,从而享用海量数据的价值。
3) 大数据的应用领域
大数据的起源要归功于互联网与电子商务,但大数据最大的应用前景却在传统产业。一是因为几乎所有传统产业都在互联网化,二是因为传统产业仍然占据了国家 GDP 的绝大部分份额。
哪些传统企业最需要大数据服务呢?至少有 3 类企业:
1) 对大量消费者提供产品或服务的企业
2) 做小而美模式的中长尾企业
3) 面临互联网压力之下必须转型的传统企业
第 1) 类企业都需要利用大数据精准分析不同消费者的偏好,提高营销和服务的质量;第 1) 类企业都需要利用大数据分析精准定位自己的客户群;第 3) 类企业主要指哪些正在遭受来自互联网的新玩家冲击的传统企业,此类企业自然都需要利用互联网和大数据作为自我进化的工具。当然,第 3) 类企业与前 2 类企业有重叠。
具体来讲,中国最需要大数据服务的行业就是受互联网冲击最大的产业,首先是线下零售业,其次是金融业。
受电商的冲击,国内很多零售巨头都增长严重放缓,甚至遭遇负增长,线下零售已经到了不得不变革的危机关头。我们也看到了银泰百货、王府井百货、万达集团这些具有创新意识的传统巨头开始利用互联网和大数据来改造线下商业。其中银泰百货以手机为载体、利用 O2O 方式进行双线数据挖掘的创新非常值得借鉴。