到2020年，电子数据存储量将在2009年的基础上增加44倍，达到35万亿GB。然而这并非数据存储的末日。在正在形成数据时代，企业与政府用户的的业务方向都将依赖大数据的积累与分析，如何保存、阐释、检索与分析海量数据，就成为用户们最关心的热点。近日，红旗软件推出了Hadoop大数据处理服务，为各行各业的数据中心和数据管理等难题提供了新的解决方案。
据了解，RedFlag在基于OpenPOWER平台上的Hadoop大数据处理服务中，构建了完整的hadoop ecosystem——包括hadoop、hbase、greenplum、R、PHP、Haproxy LVs Perl ruby python go nginx Redis mysql postgresql等hadoop生态系统的相关软件。这些软件能在基于OpenPOWER的硬件、RedFlag OS的平台上有效提升了数据处理效率，快速扩展、监控和告警等功能则让集群管理更加便捷，从而实现轻松快速并经济地处理大量数据的需求。
Hadoop：最有价值的大数据处理平台
Hadoop于2006年1月28日诞生，至今已有10年，它改变了企业对数据的存储、处理和分析的过程，加速了大数据的发展，形成了自己的极其火爆的技术生态圈，并受到非常广泛的应用。目前已经被包括Google、Facebook、Twitter、百度等全球互联网巨头在内的商业企业所使用。据统计，全世界一半以上的数据涉及Hadoop，让其成为最有价值的大数据处理平台之一。不过，Hadoop同时也面临一些挑战，譬如本身的复杂性，以及企业如何将开源平台与自身架构整合等。
Hadoop 主要用于大数据的并行计算，其中包括数据密集型并行计算、计算密集型并行计算、数据密集与计算密集混合型的并行计算。当下Hadoop的主要应用场景在归档、搜索引擎及数据仓库上面，各个机构使用Hadoop不同的组件来实现自己的用例。而在这3个场景之外还有一个比较冷门的场景——流处理，这块源于Hadoop 2.0可结合其他框架的特性，而在将来，Hadoop肯定会发展到联机数据处理。
Hadoop平台不仅能够推动企业内部的数据开放，还能够让每个人参与到报表、数据的研发过程。同时还能够实现企业的数据共享，特别是Hadoop队列，资源池，队列，任务调度器的机制，能让整个机型切换成多个资源，而不是以前的数据库，一层层的隔离去使用。
RedFlag: 全球首家提供OpenPOWER平台的Hadoop技术服务
从2015年初至今，红旗作为整个OpenPOWER产业链的核心成员，组建了专业化的“OpenPOWER能力中心”，与IBM的LTC team、奥斯汀的核心研发团队保持密切的深入内核层面技术交流。此次，红旗在OpenPOWER平台上构建了完整的hadoop ecosystem——包括的hadoop、hbase、greenplum、R、PHP、Haproxy LVs Perl ruby python go nginx Redis mysql postgresql等hadoop生态系统的相关软件。
红旗在本次Hadoop的移植构建过程中，克服了greenplum没有spec文件等诸多技术难点，以手动创建spec文件等方式完成“从无到有”，以至“从有到优”，最终成功地将所有组件全部以rpm的形式迁移至OpenPOWER平台，方便用户安装。目前，所有软件源码已全部移植成功， 并且在实际的生产场景中，不但保证了各软件所有功能正常，且运行性能高于x86平台。
红旗OpenPOWER能力中心完成此项工作，是希望能从软件层面、开发工具、数据库、大数据包括云平台、高可用等各个方面，能够把一些开源软件放到OpenPOWER上，充分利用OpenPOWER的加速技术、CAPI技术，为软件加速，提高用户应用环境中软件运行效率。
RedFlag Linux OS +Hadoop
众所周知，Hadoop是一个能够对大数据进行分布式存储和处理的软件框架，它具有高可靠性、高扩展、容错、高效、低成本的特点，一度广受互联网公司青睐，企业级用户也越来越多的接受Hadoop。但凡事都有两面性,Hadoop是非常耗费计算资源的，用户希望获得更优秀的性能。
好马必须配好鞍，恰恰OpenPOWER产品非常适合Hadoop应用。IBM曾专门针对 Hadoop来对硬件的性能优化和调优，获得了非常好的结果，有3.65倍的运行速度提升。而且，POWER在中国很多的行业、在企业级市场有着深厚的积淀和客户群，产品也非常适合这些客户。
Hadoop在大数据技术理念方面不同于虚拟化打造成“大型机”的方式，是用化整为零的方式将各种资源池化，文件被切开到不同层面，通过节点实现并行化IO。红旗结合OpenPOWER的硬件优势，在对Linux内核参数进行调优，在一定程度上提高了作业的运行效率，让解决方案具有以下优点：