携程大数据实践:高并发应用架构及推荐系统案例

1、存储的涅磐

1)NoSQL (HBase+Redis)

 

 

我们之前存储使用的是MySQL,一般关系型数据库会做为应用系统存储的首选。大家知道MySQL非商业版对分布式支持不够,在存储数据量不高,查询量和计算复杂度不是很大的情况下,可以满足应用系统绝大部分的功能需求。

我们现状是需要安全存储海量的数据,高吞吐,并发能力强,同时随着数据量和请求量的快速增加,能够通过加节点来扩容。另外还需要支持故障转移,自动恢复,无需额外的运维成本。综上几个主要因素,我们进行了大量的调研和测试,最终我们选用HBase和Redis两个NoSQL数据库来取代以往使用的MySQL。我们把用户意图以及推荐产品数据以KV的形式存储在HBase中,我对操作HBase进行一些优化,其中包括rowkey的设计,预分配,数据压缩等,同时针对我们的使用场景对HBase本身配置方面的也进行了调优。目前存储的数据量已经达到TB级别,支持每天千万次请求,同时保证99%在50毫秒内返回。