在惠普年度用户大会上,惠普旗下的AppSystem整合计算平台产品线,首度推出Hadoop专用计算平台--HP AppSystem for Apache Hadoop,通过软硬件的整合,为企业提供一个快速部署的分布式数据处理平台。
惠普解决方案与策略副总裁Paul Miller表示,Hadoop属于MPP(Massive Parallel Processing)分布式并行计算架构,其实是一个颇为复杂的技术,通常需要通过专家的协助来部署,对企业而言技术门坎很高,也因此目前有利用Hadoop来处理大数据的企业并不多。
Paul Miller指出,HP AppSystem for Apache Hadoop是将惠普旗下的服务器、存储、网络设备等硬件以及管理软件,通过优化的整合,打造出针对Hadoop性能予以优化的平台。他说,这个平台可在30分钟内部署规模为800个节点的Hadoop平台。
HP AppSystem for Apache Hadoop的重要组件,在硬件部分有惠普最新的第八代服务器ProLiant DL380,以及HP Networking 5830交换机。Paul Miller指出,ProLiant DL380配备2个10GbE网络控制器,以及大容量的内存,此外,Hadoop环境的网络流量负载高,而HP Networking 5830交换机独有的IRF网络虚拟化技术,可确保Hadoop环境的后备系统的高可用性,另可支持1GB缓冲,有助于应付高负载。
软件部分的关键则是HP Insight Cluster Manager软件,这套软件可让企业按几个键即可部署Hadoop集群,其延展性可达1,000个节点,在管理功能上提供性能监控与可视化管理工具。
Paul Miller表示,以业界标准的Hadoop性能测试工具Apache Hadoop Terasoft Bechmark来比较,在一个由18台DL 380服务器与惠普网络设备组成的HP AppSystem for Apache Hadoop平台,可在约1.5小时内处理10TB的数据,性能是Oracle产品的3.8倍。
此Hadoop平台可与Vertica 6.0实时分析工具一起使用,惠普 Vertica副总裁Colin Mahony表示,通过Hadoop平台可先将数据处理成结构化数据与半结构化数据,再由Vertica进行实时数据分析。
Paul Miller指出,惠普 Hadoop产品重要的发展策略是支持开放标准,对于目前主要的3个Hadoop分支版本皆可支持,包括Cloudera、Hortonworks、MapR.他表示,这几个分支版本各有特色,而惠普未来不会自己跳下来做Hadoop分支版本,但会持续将Hadoop的研发成果贡献给开源社群。
惠普亦推出2项与Hadoop相关的顾问服务,HP Big Data Strategy Workshop服务为企业提供大数据策略的教育培训,而HP Roadmap Service for Apache Hadoop顾问服务,则可协助企业规划Hadoop策略与部署计划。