【揭秘】腾讯云数智98.8秒完成100TB数据排序的架构和算法

 

5.这次参赛的腾讯云数智大数据处理平台究竟是一款什么样的产品?

 

蒋杰:腾讯在大数据技术的探索上可以说一直走在业界前列,在十亿级别的用户海量大数据处理中,我们已经踩过了很多坑、重写了大量底层代码,极大的提升了大数据处理的性能和稳定性,如今我们将整套业界领先的技术开放给企业和开发者,将帮助企业把大数据快速落地、转化实际价值。

 

腾讯云数智是一套一站式的大数据处理平台,使用数智可让技术团队可以专注于代码层的开发,而无需关注集群和组件的性能和稳定性,极大的降低了大数据的使用门槛。在数智平台上提供了业界最丰富的数据开发套件,用户可以一站式的完成从数据清洗、数据建模与分析、可视化呈现、数据治理等一系列操作,支持实时流式数据、离线数据的导入与导出。

值得一提的是数智提供的强大数据分析与挖掘探索能力,多维分析引擎可在数秒内完成在亿万级数据、万级维度的量级下的分析作业。除了数据分析引擎,数智还囊括了机器学**引擎,内置的算法库均经过腾讯海量数据的训练实操,支持图计算、高性能并行计算、深度学**等。

 

6.腾讯云打破Sort Benchmark 4项纪录的意义是什么?对业界企业、开发者将带来什么价值?

 

蒋杰: 腾讯云数智将腾讯多年的大数据处理经验首度开放,能够让社会各界享有与腾讯同级的大数据处理能力。对于企业而言,可以在大幅降低人力成本、快速将大数据平台落地的同时,享有高稳定、高性能、高安全的大数据平台。对于开发者而言,无需将时间精力投入到集群的搭建、改进社区版本稳定性等问题上,从而全力投入进业务层与代码层中。

 

此次的参赛结果是对腾讯多年海量大数据处理能力的认可,也见证了腾讯云在大数据领域已经走在了全球的领军位置。目前,数智大数据处理套件TBDS3.0正式版已经对外发布,数智大数据工坊也在邀测中,可见数智的产品矩阵与能力已经十分完善。同时,腾讯云大数据中的方略产品线,也已经上线了多款产品,包括用户洞察分析、热力图、位置大数据解决方案、舆情监控等等,方略将腾讯数据资产进行有效的整合与安全的利用,让用户使用腾讯云方略即可直接享受大数据资产产生的价值,让企业在信息迸发的时代抢占先机,一同纵横数智、助画方略。

 

7.未来图像、音频等非结构化数据将激增,腾讯云如何帮助企业高效处理这些数据?