这是我总结的四个要素。忍者的意义也不用多说了,因为从我们开始做这件事的时候就不断的有客户,也不断的有厂家来告诉我们,说这个是市场或者是业界非常缺的东西,首先它能促进整个技术的进步,就是通过标准的制定和升级,不断的去促进整个技术进步。就相当于明年,我们可能不止于38个测试用例7个维度,我们可能衍生出更多的指标体系,更细化的,更变态的去考察整个大数据产品的能力。规范市场,我们通过认证把一些优秀的产品筛选出来,为产业的发展设立一个基本的门槛,不是说随便一个人想做大数据,你随便有一套东西出来就可以说我是具有这个能力的,还是要有一定的门槛的。方便用户选型,我们促进了技术,也规范了市场,这样的话,就将大数据的细节梳理以后,以指标的方式暴露给用户,方便用户在这个过程中去衡量他的技术选型,包括去选定一些不错的厂家。
我个人也有一些思考,包括我们在这个测试认证,包括整个标准制定的过程中,我们认为衡量一个大数据产品平台至少有三个维度:一是功能完备性;二是性能;三是稳定性。我们现在联盟的标准集中在功能的完备性和性能这两点上,因为稳定性相对来说是一个比较难以去评量的,必须在长时间用户的使用过程当中才能应对到很多的问题,才能发现你软件里面出现的各种情况,包括你集群的规模扩展,从10台扩展到100台,甚至是上千节点的时候,你的软件的支持能力,这是在我们简单的测试过程当中,10台、20台的机器里面有时候是无法体现出来的。所以我们功能的完备性和性能,这两点我们联盟着重在这一块已经努力在做了。功能的完备性方面我个人认为有运维和应用性,这是非常重要的一块。还有SQL的支持,因为我们传统的企业IT人员最多用的是SQL的语句,还有权限和用户管理,在一个大的企业有很多业务的时候,你的权限和用户的管理是非常重要的,能优化出你更多的一些效率。多租户和日志的管理和审计也是相应的比较重要的一些点,这些方面我们会进一步去加强。性能方面我们考察的是两部分,一部分是产品本身的性能优劣,另一方面就是整个技术团队的调优能力,这也是你的团队能不能把整个调优的参数和经验固化下来,以一种服务的形式提供给你的客户,这也是非常关键的一种能力。这是我个人觉得衡量一款大数据产品的维度。
下一步我们有些计划,在基础能力认证的情况下,这次我们做的是串行测试,所以后续我们会更加并行。测试的流程我们会逐步的把一些通用的脚本和测试工具自动化,固定下来,统一发给大家。这个标准里面如果参加测评的话,企业会知道我们里面出现了好几个关于权限的测试用例,我们未来会在权限方面进行统一的管理,包括我们怎么样配套去做。性能方面的话,我们这次测的是整个基础能力,性能的话,我们在6月份会给大家提供出来。也就是说,6月份我们基础能力和性能这两套是全部都给大家提供出来,3月份和4月份之间的测试主要做的是基础能力的。性能的话我们会以运维为导向,考虑一些混合任务、高并发的场景。下半年开始我们还有另外一些建立MPP数据库的评测标准,还有我们未来也越来越看到技术的融合,就是Hadoop系统、Spark系统,很多的技术都在走向融合。用户可能最后不关心你到底用了什么样的技术和什么样的产品,只是一个统一的大数据平台,你把所有的技术和组件放到里面来,对我来说提供一个透明的,无感知的产品就可以了。
我们在评审过程当中也有很多评审专家给我们提出了意见,在数据治理方面,包括你有了平台以后,你的数据进来以后你怎么去管控数据质量,怎么管控原数据,整个数据处理和整理的过程,也需要一些我们的标准去规范。这是我们未来要做的一些事情。大家可以看到,也是非常贴近企业和业界的需求,工作量也非常大,但是我们有志于去推动中国产业进行这样一些活动。
未来的规划,我们其实一直对整个大数据的产品体系有比较清晰的认识,我们有底层的平台,我们的标准是停留在产品的底层平台,Hadoop、Spark、MPP产品的基础上,慢慢我们会做到数据管理层。再往上慢慢的规范可视化、BI数据和数据库,包括整个软件平台向云平台切换的时候产品特性,这些都是我们需要做的。也需要更多的厂商,更多的专家参与到我们这个事情里面。