更高IO,更快Map配置
将计算移动到所在数据的节点上,通过节点实现并行化IO,因此需要挂很多层。而Map Reduce任务的数量跟CPU核数捆绑,因此CPU核数越多,Map配置就越快。OpenPOWER去年推出的两款服务器都是双路2U主机,配备最多24个核,在此硬件平台上,Map配置速度明显优于X86平台。
另外,红旗在Hadoop调优中,将Linux命令blockdev设置预读取缓冲区的大小,以提高Hadoop中大文件顺序读的性能。便于用户系统通过移动计算取代移动数据,以获得更高的IO,以实现大数据的真正价值。
按需定制,易用性高
红旗在移植构建工作之外,推出“Linux OS +Hadoop”的解决方案,该方案具备高扩展性,能够根据企业需要将集群处理数据能力从TB扩展到PB级别,并且用户可以自由选择任意数目的节点来处理数据。同时,用户拥有每个节点的最高级别(root)访问权限,可以完全掌控整个集群。用户可以自由安装额外的应用程序来定制每个集群,RedFlag Linux OS +Hadoop也同时提供丰富的组件,包括不限于hadoop、hbase、greenplum、R、PHP、Haproxy LVs Perl ruby python go nginx Redis mysql postgresql等等。
Hadoop应用环境一览
Hadoop平台是能够推动企业内部的数据开放,能够让每个人参与到报表、数据的研发过程。能够实现企业的数据共享,特别是Hadoop队列,资源池,队列,任务调度器的机制,能让整个机型切换成多个资源进行管理,不仅在企业的数据查询与分析系统中提供了查找、收集、识别、上传、标准化、存储、再利用与服务数据的方式,并且显著增加了数据的灵活性、弹性与易用性。
无论是互联网巨头如谷歌,Facebook和LinkedIn,还是中国在数据时代中需求日益迫切的各行业用户,他们在Hadoop应用的探究之路上已有许多成功案例:
01网络资源和在线零售商的推荐引擎:
使用Hadoop根据用户的个人资料和行为数据匹配和推荐用户、产品和服务。LinkedIn使用此方法增强其“你可能认识的人”这一功能,而亚马逊利用该方法为网上消费者推荐相关产品。
02社会化媒体和社交网络数据中情感分析:
Hadoop与先进的文本分析工具结合,分析社会化媒体和社交网络发布的非结构化的文本,包括Tweets和Facebook,以确定用户对特定公司,品牌或产品的情绪。分析既可以专注于宏观层面的情绪,也可以细分到个人用户的情绪。
03财务公司、银行等公司的风险建模:
使用Hadoop和下一代数据仓库分析大量交易数据,以确定金融资产的风险,模拟市场行为为潜在的“假设”方案做准备,并根据风险为潜在客户打分。
04金融公司、零售商的欺诈检测:
使用大数据技术将客户行为与历史交易数据结合来检测欺诈行为。例如,信用卡公司使用大数据技术识别可能的被盗卡的交易行为。
05营销活动分析及客户流失分析:
各行业的营销部门长期使用技术手段监测和确定营销活动的有效性。大数据让营销团队拥有更大量的越来越精细的数据,如点击流数据和呼叫详情记录数据,以提高分析的准确性。
企业使用Hadoop和大数据技术分析客户行为数据并确定分析模型,该模型指出哪些客户最有可能流向存在竞争关系的供应商或服务商。企业就能采取最有效的措施挽留欲流失客户。
06社交图谱分析:
Hadoop和下一代数据仓库相结合,通过挖掘社交网络数据,可以确定社交网络中哪些客户对其他客户产生最大的影响力。这有助于企业确定其“最重要”的客户,不总是那些购买最多产品或花最多钱的,而是那些最能够影响他人购买行为的客户。
07用户体验分析:
面向消费者的企业使用Hadoop和其他大数据技术将之前单一 客户互动渠道(如呼叫中心,网上聊天,微博等)数据整合在一起, ,以获得对客户体验的完整视图。这使企业能够了解客户交互渠道之间的相互影响,从而优化整个客户生命周期的用户体验。