通过我们在软件层面的调优,既满足硬件更好的大数据平台的基础上,提供一些软件的性能调优,包括存储分布的算法上,在任务调度算法的优化,提高整个大数据平台整体的性能。 资源管理方面也是通过我们一体化的资源管理,监控整个大数据平台的运行状态。
成功案例:
济南公安的例子:济南公安在传统行业里面,公安行业是积累数据量非常大的。我们这一期给济南公安提供了2点多P的空间,因为存储和处理技术的限制,很多东西可能放了一段时间就扔掉了,因为没法放,再一个存了那么大的量处理起来很麻烦。他们通过我们新式的大数据平台来解决以前数据孤立整合等问题。
另一个案例分享:视频最后也讲到了除了公安以外我们在很多其他行业金融电信等等都有很多大数据的应用,我相信大家讲的比较多的也是这样的行业。
还有一个案例就是中国资源卫星中心,我个人理解他们是高性能计算的用户,高性能计算有一类计算就是数据处理计算,它对数据处理技术的要求是非常高的。在这前面它的很多处理方式都是传统的,计算结点和存储分开,需要很大规模的存储存东西,对存储进行反复的存取,拉到计算结点进行计算。在新的数据处理的模式下,老的处理模式随着卫星不断的增加,数据量膨胀非常快,因此处理慢慢已经跟不上整个数据的增长,也需要有一个新的架构来满足它的需要。
第二个层面他们需要将数据开放出来给大家用,因此对于云计算服务的要求也是非常高的。