10月27日,2016年全国高性能计算学术年会(HPC China 2016)在西安举行。国内领先的信息系统综合服务商中科曙光在会上发布了国内首个“科学大数据引擎”,旨在帮助政府部门、科研院所、教育机构、行业技术创新中心、大型企业研发部门等用户向大数据研究方面转型,促进数据密集型计算架构在各行业领域的创新发展和深入应用。曙光公司总裁历军说,科学大数据引擎集成了曙光在高性能计算、海量数据存储和大数据处理分析技术等领域的优势资源,以积极应对科学大数据发展对传统HPC系统提出的挑战。
“科学大数据的时代已经来临。”曙光公司总裁历军介绍说,数字化进程正在引发不同行业领域的群体性技术革命,已经深入到IT互联网、科学研究、工业制造、现代农业、服务业等各个应用场景,有力地带动了产业升级和技术革新。而大数据技术给科学研究带来的影响更为深远——科学发现将越来越依赖数据密集型计算来驱动。今天,大数据研究已经成为继理论、实验和计算模拟之后的第四种科学范式,在新型材料、生物基因、精准医学、地球科学、生态环境、卫星遥感、天文、空间地理、高能物理、现代农业等诸多领域受到广大科研人员的高度重视。
面向科学大数据应时而动
“科学研究正变成一个又一个的大数据问题。”曙光公司高性能产品事业部总经理曹振南举例说,“千人基因组计划”每月产生1万亿条碱基序列信息,我国30多个在轨民用航天平台每年有超过3PB遥感卫星数据,FAST 射电望远镜的数据产出速度是6000亿条记录/年,大型强子对撞机实验每年产生15PB原始数据……“未来,基于对科学大数据的处理和分析将成为发现新知识的基本特征。”
科学大数据的海量、多源、异构、高维等特征,向传统HPC系统发起了全新的挑战。“多数科研项目的数据量非常巨大并快速变化,且往往是分布、异构的,传统的数据库管理系统已不能满足需要;此外对科学大数据的‘计算’包括了从数据获取、管理到分析、可视化的全过程,传统的高性能计算亟需将服务向外延拓展。”曹振南解释说。
作为诞生于科研国家队、多年服务于科研领域的HPC领军企业,中科曙光敏锐地洞察到科学大数据的未来前景及其对“计算-存储-分析”架构提出的更高要求,率先将“大力发展科学大数据”列入公司“数据中国加速计划”战略,为科学大数据引擎的进一步开发和提高水平提供了有力的保障。
走向融合的计算模式
针对科学大数据的行业应用特征,曙光公司认为,科学大数据引擎将实现计算存储分析一体化,充当连接数据源和业务应用的“黑匣子”,完成对数据的清洗转换、存储与管理、数据处理与挖掘、数据分析及可视化等工作,架起从科学数据到科学发现的桥梁。
据曹振南介绍,在科学大数据引擎的“黑匣子”里,部署着曙光全系列数据计算技术及服务产品,主要由5个引擎组件构成,分别是:针对海量非结构化数据的曙光ParaStor并行存储系统、类型丰富的曙光高性能计算平台、最大化提升系统整体效能的曙光深度学习计算平台、高效敏捷的曙光XData大数据处理平台以及能覆盖科学大数据中心全生命周期的曙光 EasyOP运维管理平台。
“科学大数据引擎融合了高性能计算、云计算、认知计算、大数据分析计算等多种模式,是高性能计算与数据分析挖掘的有机结合,可为科研工作者提供一个实现科学数据存储、分析和管理的一体化解决方案。”曹振南评价说。 曙光的科学大数据引擎拥有以下六个亮点特征:
1)专为科学数据处理流程进行优化,提供“计算、存储、分析、运维”一体化强劲性能;
2)基于曙光独特的超融合架构,灵活支持高性能计算、大数据计算、深度学习计算等多种计算模式;
3)超强弹性设计,最高支持E级超算系统立体扩展;
4)可构建EB级单一存储空间,是经过验证的国内最大存储系统;
5)支持PB级数据处理能力,可实现亿级数据库毫秒级极速查询分析;
6)可为上万节点提供7*24小时在线、移动、实时自动监控服务。
打造科学大数据社区
中科曙光“科学大数据引擎”虽然刚刚发布,但曙光在多年的HPC技术服务工作中已经形成了一套全流程、一体化数据处理技术体系,目前已经在多个大科学项目上开展了应用。