Hadoop和Hbase通过每小时处理1亿份记录的方式,为全球最大的信用局益百利(Experian))把消费者接触点(Consumer touch points)连接在一起。
益百利(Experian)、全联(Transunion)和艾可飞(Equifax)等信用局积累消费者个人数据已经有数十年时间了,这些公司的客户主要是开展针对性活动的营销人员。为了应对社交媒体、网页浏览等消费者接触点实时更新的需求,益百利从大型机转向了具有架构扩展功能的Hadoop和HBase。该公司现在的目标是,每小时处理1亿份包括地理、人口统计学和生活方式数据在内的记录。
拥有15000多名员工的益百利是全球领先的信用报告与营销服务提供商,年营收达到40亿美元。该公司在管理消费者是谁、他们买了什么东西、如何与消费者保持连接、如果与消费者进行互动等消费数据方面具有悠久的历史。过去,益百利的大型机每月定期对消费者数据库进行批量更新,然后益百利的客户再将这些更新用于调整营销活动。在互联网、移动设备和社交媒体兴起之前,这一模式运行得非常顺畅。
如今,在详细阐述消费者购物行为、在线浏览方式、电子邮件回应和社交媒体活动的数据中,会存在一些无用数据,而益百利的大型机系统已经无力应对数据的大幅增长。而作为益百利营销客户的全球顶级零售公司正在尝试综合评估这些数据,以便能够实时做出响应。例如,他们希望知道出现在商场中的某一特定消费者与关注他们企业的Facebook和Twitter账号的消费者是否是同一个人。
这了满足这一新的需求,益百利开发了跨渠道身份识别(Cross-Channel Identity Resolution,简称CCIR)引擎,以维护相互连接的客户接触点资源库。大约有30条标准被作为必备的基础技术,其中批处理、实时处理和扩展能力是重中之重。
益百利选择了两项开源技术:分布式大数据批处理架构Hadoop,以及Hadoop关系最为密切的NoSQL数据库HBase(即Hadoop Database)。除了针对存储进行了优化外,HBase还被作为冗余和容错架构。而除了选择Hadoop和HBase,益百利还选择了具有丰富功能的专利监控与管理软件Cloudera Manager。Cloudera的企业服务级技术支持协议也是另一个决定性因素。
益百利对这一解决方案很满意,因为这一方案以很小的遗留环境为代价,将处理性能提升了50倍。他们相信环境是在整个营销生态系统中提取数据,以及将通讯地址、社交媒体ID、电子邮件地址、Web Cookies、电话号码等各种信息联系在一起的重要数据管理平台。这一平台还能够以客户喜欢的格式将这些数据汇聚在一起。
由于能够产生信息丰富的互动和积极的消费者体验,目前益百利的客户能够更为精准地评估来自多个渠道的客户。而由于能够提供相关信息,不是浪费时间地消费情感,因此新益百利的客户端更加受到欢迎。(范范编译)