我们的审核方法,测试专家在现场大致有这样一些,主要是检查软件的版本、组件版本和测试工具,还有就是数据,凡是用到数据的时候,我们要对他的数据量大小和副本数都进行一个确定。物理机的检查,我们一定要检查10台左右,而且必须是物理机。还有结果的检查,我们每个测试用例如果有时间的话我们会记录它的时间,它有结果的话,我们会对它的结果进行验证。文件的留存,关键的一些包和脚本我们都会进行复现,追溯到当时测试的正确结果是什么。
接下来是本次通过产品能力认证的产品,有6家,大家可以看到,这个排名是根据我们当时测试的顺序排名的,并没有其他的区别,有这么6家。东方金信、明略、博易智软、杭州华三、星环信息、腾讯等等,大家可以看到有传统IT的企业,也有很多互联网企业,开始向整个2B的市场发展。这是我们的测试现场,我们拍摄下来的关于测试的机器,还有测试人员在这个过程中的一些细节。大家可以看到整个图片,这是机器的和测试人员。
下面我们总体的给大家汇报一下各家企业测试的情况。东方金信是完成了必测项的28项,选测项10项里面他们完成了7项,标黄的地方是他们没有参加测试的。明略完成了28项的必测,有5项选测没有测。博易完成了28项必测,完成了2项选测,其中有8项选测没有测。华三完成了28项必测,有8项选测做了,有2个没有做。星环完成了所有测试项目28项的必测和10项的选测。腾讯也是完成了28项必测和10项选测。
通过各个指标的维度大家再来感受一下,从运维的十个用例里面,大家必测都完成了,其中有一些厂商没有测集群。多租户的话有一些厂商已经在朝这个方向做了,有一些厂商还没有做。而做的技术各有不同。安全方面大家可以看到,在重组加密方面大家的实现是略有差异的,有些是基于通道加密,有的是基于整个存储加密,有的是基于外部应用的加密。身份认证权限和审计这一块大家的实现基本上都是一些通用的技术。但是在权限和审计这一块我们认为是一个非常重要的方向点,能体现出各家厂商产品的一些细致化的程度,还是略有差别的。这里面如果大家以后能看到测试报告可以知道,每家厂家在权限和审计还有身份认证这一块做的差别,功能完备性和其他的一些细节、界面这方面还是略有差别的。
可用性这一块前七项都是常备的,基本上能力都是相当的,没有太多突出的。管理节点的恢复和失效,这是大家基于自己产品的考虑。因为它的失效本身不会影响到整个集群的运行,但是基于大家自己的考虑和对运维的认识,有些是基于热切换,可以直接无缝的切换,有些是基于冷切换,有些还没有考虑。
兼容性我们可以看到,主要是ODBC、JDBC相对来说比较简单一些,传统数据库同步也不是特别难。SQL的支持度这一块大家的策略也略有不同,有的厂商我们测试的时候,过程当中有一些厂商是没有测,也有可能他具有这样的能力。我们可以看到东方金信、明略和星环是完成支持99个语句,华三和腾讯选测了其中的10个左右,博易没有做这方面的测试。跨不同数据库表的关联其中两个厂家没有测,其他的都测了。扩展的方式,每家的台数不一样,但是都验证了扩展的能力和集群的收缩。
功能性我们可以看到,大家基本都具备了这些导入SQL的能力,NoSQL和机器处理的能力,这一点大家的差别不是特别大。
总结和下一步计划。我自己对整个测试过程中,因为我是全程参与的,包括标准的制定和中间的一些测试,包括后来的评审,我是全程参与的。所以我是最了解整个过程的,我自己总结了一下大概有这么几个性质:
权威性。我们在数据联盟的架构里面联合了20多家大数据企业一起来制定这个大数据产品的评测标准。也就是说,很多测试用例、功能项和一些点都是由企业方来提出的,并不是我们来给大家制定你该测什么,因为企业比我们更了解整个技术的细节。
先进性。我们纵观整个市场业界,第一次全面的考察大数据商业化软件产品平台综合能力的活动。
全面性。我们有38个认证的项目,覆盖了7个维度的方向,所以是能比较全面的去考核一个产品的整个能力情况。
严谨性。我们完善的一个现场测试流程,包括后续的一些评审过程,我们引入了企业的互评,客户专家和学术专家的评审流程,通过在现场严格的检查组件、环境、流程、结果和文件,这些过程来保证整个程序的合规性。评审的过程就是由这三类的专家构成,基于一个答辩的过程和我们的测试报告来给出一个测试的结论。