浪潮张东:大数据时代,挑战与解决之道

包括通过元数据高可用的方法保证可用性,包括通过访问控制加密保证控制性。但是目前现有的大数据处理平台,这部分从设计上来讲并不是很偏重的,这块是现在的大数据平台上做的很多工作,将我们在传统的很多在操作系统里面的概念,比如说不同级别的控制手段,包括加密手段拿到大数据平台里面,加固大数据平台,满足用户对于数据聚集以后保护的要求。包括元数据一层做的高可用,包括我们基于硬件的一些加密和存储,还有访问控制,把操作系统里面的安全技术用在里面。包括我们对于基于现有大数据平台,把原来存储用到的备份软件、异地冗灾方面的软件。

大数据应用开发平台:

现在大家用到大数据平台遇到的麻烦就是真正行业应用里面懂Hadoop的人很少,懂新型开发架构的人很少,很多应用仍然是绑在原有的平台上,甚至接口都不愿意改。这也是现在妨碍我们把这个技术能够从很多新的领域推到原来传统行业领域很大的一个阻力。我们现在尝试在做一些工作,包括如何能够让原来的业务程序很顺利的对接到新的平台上面去。其实大家以前用到的很多接口写程序的人都清楚,但是这些接口往往在新的平台里面没有,这是第一层面。

第二层面,很多数据真的到了一个新的平台,让他用MPI,现在换一个思路,都是很麻烦的,这个如何在技术层面提供支持?一方面我们希望自己做一些工作,另外这块也是我们能把新式应用推广的重要的一点,希望大家共同来做。

因此浪潮这部分我们给用户提供专业化的服务。从前期得如何做数据的分析,把数据进行分类,然后按照前面画的圈,按照复杂度、规模、交易方式、操作方式,以及最终响应的要求将数据划分成不同的类型。针对不同的数据给你提供不同的模型、解决方案,搭配我们的硬件或者软件最终把应用做起来。

还有一个非常重要的是帮他做数据建模。数据建模这个事情已经不仅仅是做计算机的人的事情,更多的是做数学的人的事情。但是计算机要为各种各样新的应用服务,如何把以前的数据进行规划、新的整理?要告诉他现在要放我这个平台里做更好的处理,那么要对你原来的表和数据结构进行调整,基于这个做模型,怎么把你的数据更好的用起来?