马云说:“未来最大的能源不是石油而是大数据”。大数据已经从概念走向了价值,甚至成为了可积累的资产,人们越来越期望通过海量数据的处理发现机遇。随着教育行业与大数据的深度融合,越来越多的高校(高职)开始着重建设大数据专业与大数据实验室,培养稀缺的大数据人才,以填补百万级的大数据人才缺口。然而,目前大多数高校的大数据专业建设仍然处于试错阶段,从实验环境、课程体系直至师资力量,亟需系统有效的统筹规划。
对此,云创大数据推出了全国高校(高职)大数据专业建设支撑计划,与全国各大高校一同探索大数据专业的建设之路。全国高校(高职)大数据专业建设支撑计划由清华大学博士、中国信息协会大数据分会副会长刘鹏教授提出,刘教授曾率队夺得2002 PennySort国际计算机排序比赛冠军(这是我国获得的较早的一个大数据比赛冠军),在清华大学、北京大学、中科院等单位做了500多场学术报告,多次主持全国性网格、云计算会议,在2010年就曾组织与培养了较早的一批云计算师资力量(http://www.chinacloud.cn/show.aspx?id=3632&cid=50),有着丰富的科研与教学经验。
早年,刘教授主编了国内云计算教材——《云计算》,这本书已经更新到第三版,成为全国几乎所有高校的标准教材。近期,刘鹏教授联合全国多所大学共同编写的《大数据》教材即将出版,而其编著的国内原著云计算编程书籍——《实战Hadoop——开启通向云计算的捷径》目前已经升级出版为《实战Hadoop2.0——从云计算到大数据》。同时,刘教授创办了国内知名的中国云计算(www.chinacloud.cn)和中国大数据(www.thebigdata.cn)网站,可为大数据专业的建设提供多元化的资源。
具体而言,全国高校(高职)大数据专业建设支撑计划将从以下几个方面对大数据专业建设给予支持,为大数据人才的培养提供前提条件:
制定人才培养计划,完善大数据教学体系
由于各大高校的大数据专业处于起步阶段,培养计划与教学体系的系统性建设成为了建设重点。对此,全国高校(高职)大数据专业建设支撑计划将协助各高校制定大数据人才培养计划,为开设各种大数据相关课程设定技术标准,包括《云计算》、《大数据》、《数据挖掘与R语言》、《深度学习》、《Hadoop编程》、《大数据清洗》、《大数据运维》等等,并辅助提供相应的教学计划、教材、课件、实验规划等。
提供完备的实验环境与实验教材视频
大数据实验需要每位学生提供一套集群计算环境,但这对高校而言,根本是一个无法实现的要求。即使是使用虚拟化技术,一台服务器只能虚拟出十几台虚拟机,也是远远不够的。而使用容器技术,则可以把一台机器虚拟出上千个容器,再利用大数据平台把多台服务器的数万个容器组织起来,就能实现为每个学生提供一套集群的需求了。
对此,全国高校(高职)大数据专业建设支撑计划借力BDRack大数据实验一体机,以Docker容器技术虚拟出足够的实验集群,并提供了从实验设备、实验手册直至教学视频的一站式服务,其配套的实验手册和教学视频涵盖了36个关键的大数据应用实验,每个实验呈现详细的实验目的、实验内容、实验原理和实验流程指导,广大师生通过参照手册与视频,即可轻松完成每个实验。
具体而言,BDRack大数据实验一体机主要为各大高校(高职)的大数据应用提供了软硬件于一体的平台,其基于Docker容器技术,实现了操作平台的简单易用,可提供Hadoop、HBase、Spark、Storm等大数据教学组件,以少量集群供大量学生同时在线使用,彼此隔离,互不影响,为高校大幅度节省了硬件和人员管理的投入成本。配套实验手册与教学视频,大数据实验一体机可以帮助高校更好地满足课程设计、课程上机实验、实习实训、科研训练等多方面需求。目前,郑州大学、西京学院等院校已经抢先部署使用,正在逐步建立和完善大数据教学科研体系。