张福波:下面这部分论坛主要是四位嘉宾,讲讲云实践。北京首信集团是北京政府下的集成公司,主要负责首都之窗的建设,他们也是在国内,在政府行业当中比较早的一家公司,由于有请首信集团技术支持中心总经理张宁来为我们做报告。
张宁:大家下午好,刚才介绍了,我是来自北京首信发展有限公司,我今天带来是我们这些年在云计算技术方面实践的结果。
今天主要分三个部分,我们主要做的是电子政务领域的应用,我们主要是做了北京使的电子政务云平台,首先我会介绍一下这个平台的规划。目前我们做了什么,我们提供什么样的服务。
电子政务云的总体框架,可以按照1+N+16的结构描述,1就是市级电子政务云,它实际上是全市的IT的基础设施,里面集合了计算资源,存储资源,网络资源,通过虚拟化技术形成一个APPS服务平台,由它支撑北京市的各个应用领域的专业应用。在N这一层面向不同应用领域提供SaaS的服务,上面两层是云的应用环境。经过这个政务云建设形成一些经验,包括一些规范和标准,我们会直接指导和负责区县云的建设,这是北京市对政务云框架的考虑。
回到刚才说的市级政务云,从内部看应该分两大部分,也就是政务互联网云和外网云,这个正好跟网络结构是有关系的,这是分互联网和电子政务网。政务互连网云这边主要还是以“首都之窗”作为北京市政府的网站,里面以应用为主,都是北京市各委办局的应用。外网主要面向北京市政府公务员。这两个云他们之间会有一个隔离区来保证这两个网络之间的数据交换和通信问题。
除了建设云的基础设施以外,包括整个APPS的服务以外,我们还在云平台上面配合首都之窗和经信委制订云的管理规范,现在做了四个规范。第一个政务云的适用性评估规范,这个主要想说明给进入云平台的应用做一个评估。我们现在知道政务应用不是所有都适合放在云里面,所以我们对云的标准做了评估。相应的云平台做了整体运营的服务规范和服务质量评价都定了一套标准。作为云的基础设施平台,我们会有整个云服务目录的提供。
那么今年这一年,整个云平台建设期,这个云在总体框架规范下面,应该是五年建设周期,第一年里面我们主要做了什么呢?主要还是在APPS这个层面做了一些工作,使用技术也主要是虚拟化技术,主要形成了统一云计算资源的弹性计算的环境。通过一个统一云计算资源管理平台把这些资源调动起来,包括存储资源,同时为电子政务云平台来建立一个相匹配的运营规范和运营队伍地
这是目前电子政务云在互联网这一端的平台结构,基本上我们在底层使用就是X86的服务器,配合存储设备和网络设备,通过虚拟化技术把他们形成一个统一的资源池,通过云管理平台来进行弹性的调度。在封装成IaaS以后,我们进行了一些分区,这只是刚开始,随着容量不断扩充,这个分区功能也会不断的分。另外对平台使用者也提供云服务门户,根据他自己使用资源的情况,去察看。这样对于顶层的支撑,这些都是多租户形式,是完全隔离开的。
这是今年整个云平台建设的资源情况。其实今年应该可以说分两个阶段,上半年的时候,四月份整个平台上线运行了,当时整个情况是52台设备,基本上可以承载的虚拟机数量在500台左右,到今年年底,随着业务两不断扩充,对存储量不断的消耗,我们也对他进行了扩容,现在可以承载虚拟机的数量在800台左右。
这个就是现在云平台的资源管理,也感谢天云公司给我们大力支持,现在我们整个虚拟化的计算资源管理平台是基于天云公司来做的。
平台建完以后我们梳理了整个管理目录,我们也跟经信委领导一起讨论怎么分类,大概分四类服务,存储服务,网络安全服务,运维,还有巡检。因为现在目前这个阶段,云平台更多体现是IaaS的服务,我们在整体框架里面,PaaS这一层是在不断追加,我们用了常用的政务服务作为平台上的执行应用。
我们到十二五结束还有两年多时间,我们会在这个平台做一些改进,这是云环境。
第一,我们希望引入一些第三方软件厂商,引入云形式把软件封装成服务提供出来,这是电子政务云的生态。
第二就是引入桌面云服务,第一可以支撑委办的呼叫业务。
第三,云存储,其实我们这一年云平台运维过程中,感觉云存储消耗还是很大的,所以我们需要在这个平台里能引入一些分布式文件系统,或者一些降低成本的方式,把这个存储消耗量降低,同时也可以反向提升用户的使用空间。
第四,运营服务平台,主要体现在规范落地和落实,要把在线的服务受理流程,还有计量计费功能,与客户做到在线的实时的交流。现在电子政务服务受理都是线下的一些合约的签订,还没有做到线上。
第五,混合云模式,有一些委办的客户会找过来,他现在有一些临时性的资源,希望通过我们这个云平台与现有IT架构做结合,这也是我们的方向。
简单介绍一下我们首信公司,我们主要就是为承接北京市重大电子政务项目成立的,我们与智慧城市的概念,我们现在做的软件服务,基础支撑平台,都是完全覆盖了智慧城市的领域。基本上我今天的介绍,关于北京市电子政务云方面情况就是这样,谢谢大家。
张福波:非常感谢,实际上你会看到很朴实,所以首信在做政务云方面没有太多的虚的东西,我们看到一个事实,就是服务器在增加,我们需求在增加,负载在增加,所以脚踏实地一步步往前走,是一个云落地的实实在在的道理。
下面我们有请天云科技的技术总监张轶给我们介绍一下skyform。
张轶:下面我来介绍一下skyform的云管理平台,这是天云科技自主研发的一款软件产品,我们看一下它能帮助我们IT管理人员解决什么问题。
问题一,传统IT在初期投资方面会呈现这么一种情况,初期投入很大,随着设备的使用年限,包括初期的回报是不成比例的,造成投资很大,但是收益很小,这是目前的问题一。
问题二,会出现运营成本,在运营成本里面,会有这么几个问题,系统部署、维护都需要更专业的人士操作,还有资源共享问题,很多系统间资源利用率的不到有效的提高,资源的共享做不到很有利的共享,就会造成资源的浪费。如果一个系统的资源不能被占满,那其他系统几乎没有办法使用,这是一个问题。还有一个规模的要求,事实上规模越小的数据中心,其实单位的运营成本也是非常高的。这是我们总结的问题二。
问题三,资源利用率。实际上这跟资源高可用性是比较矛盾的,我们大家都知道,为了保证业务的高可靠性,基本上我们会做HA,做双机,这是什么情况呢?我们用一套跟生产系统配置一样的备份系统,摆在边上,为了提高高可用性,事实上这种做法安全性是有保障,但是基本上浪费了我们一半的资源。
问题四,电力成本。现在电力成本基本上已经远远大于服务器的设备价值,包括服务器网络设备本身的耗电,包括制冷设备,空调等的耗电,还有一个在做交流电转换的时候,电的转换功率的损耗,这个都会造成电力成本的提升,这是我们总结出来的第四个IT问题。
跟应用相关的IT领域我们也要看一下,这是根据移动运营商内部的系统,我们也总结出来一个问题,帮助它优化自己的IT系统。主要现状就是业务流程实现比较长,上一个新系统,从社会采购到安装调试,再加上一些配套,最终业务上线是一个很长的过程,这是问题一。还有各种小的业务平台很多,基本上都会单独操作,单独购买,设计,然后部署实施,这些小的业务系统之间的空闲资源就没有办法去做到共享。还有一个问题就是设备很分散,可能一个公司内部有十到二十个业务部门,每个业务部门可能有十到几十个不等业务,分散在很多地方,不同楼层不同数据中心,这些规模需要我们配置很多专业维护人员,即便是这样,维护成本很高,那么维护效果怎么样?不是很好。还有一个系统的易构性,现在各种易构设备也很多,X86的服务器,包括机架式的,刀片式的,还包括小机,所有这些易构的环境又给我们运维人员造成一个很大的难度,所以这些都是我们总结出来目前现有的IT系统里面存在的问题。
我们看云计算解决哪些问题,第一,它不需要巨大的一次性投入,它需要资源池这么一个概念,它是可以被动态弹性扩张的,所以在业务启动初期,没有必要把所有IT设备一次采购齐,我们可以按照实际业务的开展情况,陆续往这个资源池里添加所需要的资源,这样可以减少初期投入的成本,这是第一个问题。
还有一个,通过自动化的管理,降低运营成本,其实自动化管理也包含好几个层面的意思,首先我们应用的部署,部署是不是需要自动化?以前基本上都是靠人工安装,那是不是我们可以靠机器自动方式,把这个业务部署上去?这是一个自动化,还有一个自动化就是流程上面,管理流程也需要一个自动化列成的处理,包括我们事件管理,包括变更管理,按照以前我们传统说的IT与SM,我们需要对各个流程,事件流程,故障流程进行一个规范化的流程管理,这也可以纳入到自动化管理的范畴。资源的共享就是在不影响业务高可用的前提下,提升资源利用率,最简单的做法,大家都知道,做虚拟化,目前市场上比较主流的虚拟化厂家,大家都知道,可以用虚拟机通过热迁移技术来保证高可用性。另外,通过硬件的集中部署降低PUE值,节约电力成本。这是云计算可以给目前IT环境带来的一些好处。
我们看传统IT的应用孤岛到云的演化过程,每一个应用都有配套的软硬件基础设施,应用和应用之间互不影响,独立存在,我们把这种情况形容为应用孤岛,这是目前传统IT系统遇到的第一个问题,我们可以往下延伸,通过集群方式变成一个同构资源,我们就可以以资源池方式提供应用的支撑。再往下就是异构,最终我们会发展到把IT作为一个服务,举一个简单例子,原来我们IT部门,运维部门,基本上就是成本中心,它平时负责IT规划,运维服务,是一个典型的成本中心,就是说你把这个事情干好了,没人会表扬你,认为是应该的,但是如果坏了就是你的问题,现在我们希望把我们IT部门变成一个利润中心,卖什么东西呢?就是IT服务,可以在两个领域里面体现,一个是公有云里面,典型像亚马逊这样的IaaS的提供商,它就是把IT作为服务卖出去。还有企业内部的私有云,它虽然不是卖出去,但是终究提供了IT服务,这是我们说的云计算最重要达到的目标,这也是我们云平台开发的宗旨,就是把IT变成一个服务。
云计算平台的发展路径,大家都很熟了,从IaaS到Paas到SaaS,虽然这是云计算平台发展总趋势,但是他们之间没有必然先后,或者谁在谁之上的必然联系。我们很多客户第一步建了IaaS平台,把应用移到资源池上面,把应用作为对工互联网业务发布出去,实现SaaS的应用,这里面并没有PaaS。
我们云平台建设就是围绕这样一个中心,四个方面。一个中心就是降低TCO,四个方面首先是解决资源共享问题,第二解决自动化管理问题,第三解决数据和信息整合,第四要解决业务逻辑的整合,这是我们云平台努力的四个方向。
从云平台发展历程来看,目前我们IaaS部分基本具备了,不仅包括虚拟化,异构资源池的管理,多租户,安全等等我们都基本具备。PaaS层面我们会提供应用自动化部署,刚才我们也提到了,完全是由机器完成一个业务的整个配置和上线试运行,这个过程是体现在我们PaaS平台的范畴。SaaS目前天云科技并不开发本身,但是我们可以支持SaaS应用在我们云平台上面。这是我们整个发展趋势。
这是一个简单的skyform云平台架构图,这里面包含一个资源管理,通过资源池把资源分配起来,调度起来,看资源生命周期,进行管理,对于资源我们还需要监控,需要运维,这都包括在资源管理层面。还有一部分属于运营管理,我们要把IT变成服务卖出去,卖出去过程就是运营的过程,这个运营过程里面,可能会包括一些服务模板,服务目录,定单,帐单审核,计费等等,这些功能基本上是运营管理,同时还配有门户,门户根据不同的使用对象提供不同种类的门户,有最终用户的,它通过我们平台来以自服务方式订购IT服务,可以由一个自服务门户,运营管理员要有一个界面做运营管理的事。资源管理员会用资源管理门户使用套系统。
到底面向资源还是面向服务?我们刚才说了半天资源,但是服务往往是我们会忽略的地方,其实我们在市场上可以看到很多厂家也只是在提资源,我们认为其实服务更应该给予更多的关注。对于服务来讲,服务本身是对资源有一个需求的,我们建云平台的目的,实际上是为了支撑云平台上面跑的服务,而不是为了管理资源而管理资源。资源到底怎么管理?怎么分配?如何变成IT?变成服务?就需要我们对服务加以定义,区别什么样的服务需要什么样的资源?
实际上服务在定义过程里面,实际上就是在创建服务模板的过程,服务可能是相通的,可以被归类的,我们把一些相通的,或者是相同的服务归为一类,把它作为一种模板,再一个服务模板里面我们会通过区分服务来封装资源。
我们天云云平台的特点,首先资源管理能力,我们有丰富的计算、网络、存储服务,我们还有灵活的资源域的机制,大的资源池里面还是按照不同种类的业务,有可能在企业内部是按照不同部门,不同应用系统,划出一些专有的资源,同样是在大的资源池里面,还需要逻辑上区分某些具体的专用的业务领域,但是所有的这些业务之间,他们在资源池这个层面实际上是共享资源池的,逻辑域概念是为每个应用定义了一个配额,这个配额应用在他的配额之内是可以共享的,这是对我们资源域的考虑。还有一个自动化部署,应用部署,用户自服务能力,异构资源管理,还要配上传统的监控、报表、安全管理等等,由这些主要特性构成天云的云平台。
服务目录基本上就是IT即服务里面展示的服务,可以像点菜一样,需要哪些菜单就可以选取。这是整个的虚拟机服务流程,从用户进入自服务门户,通过服务目录选购他需要的IT产品,整个的流程,最终可以从我们平台申请、使用、开通这样的IT服务。
我们还可以采用多个虚拟机的方式,来构建一整套完整的应用运行环境,也是可以的,不一定是单机了。
对于我们说的应用容器这样的服务,应用容器的服务,我们是针对目前比较流行的几套应用,设定了很多服务模板,用户可以根据需要选择这个应用模板,最后封装成一个服务。
下面就是一些管理层面的功能,包括运营管理,还有资源管理,包括普通用户自服务的管理。这是一些端到端的流程,随着用户角色不一样,流程也不一样,这些流程基本上是可以被定义,被跟踪,被执行,被修改,所以流程是很灵活的,并不是一个很死的流程。
对于异构的管理,不仅是设备层面的异构,不同设备品牌,不同硬件设备,对于虚拟化支持,我们也是支持主流的X86虚拟化的架构,同时对传统小型机的分区技术,也可以支持。
这是我们虚拟机,小型机的管理。这是存储资源,我们可以实现统一的存储管理功能,不仅仅是阵列存储,也包含分布式存储,从传统接口来看,我们既支持SUN存储,也支持NFS的存储,都由统一管理平台来管理分配。
这是资源调度,我们有好的调度机制,纵向优先,横向优先,通过开放分配策略接口,增加新的分配策略。
网络资源管理也是一样,可以通过支撑第三方的网络设备,比如思科,华为跟他们集成,实现在云平台里面用到的网络虚拟化的功能。
这是大规模自动部署的能力,可以缓解人的工作量,这是ITSM运维流程管理软件,包括我们整个从运营管理也好,运维管理也好,只要涉及到流程的部分,我们都会参考有关规定,来做具体的流程管理。
报表统计功能,我们可以支持两种做法,一个是目前系统内置的一些有用的报表,将来还会进一步支持用户自定义自建自己的报表,这是我们下一步要继续努力的方向。
对于云平台里面安全方面的考虑,其实我们也有各种方案,当然不排除我们说的传统安全措施,包括防火墙IDS,IPS,我们依然会保留,云计算引进来更多是数据被集中存放,资源会被共享,会有多租户概念,这里我们会着重的防止共享资源之间的一些冲突,包括用户本身的安全管理,虚拟机之间的隔离,网络应用的隔离,这也是在我们云平台安全体系里面需要考虑的。
最后总结一下天云云平台的几个优势,第一我们有完整的产品和解决方案。第二个部分,我们通过对基础架构的优化,能提升资源的管理能力。第三部分,我们是针对用户的应用来设计我们的资源管理,所以它跟应用用户的需求是结合的非常紧密的。最后一点我们成功案例非常多,我们会后可以集体讨论,谢谢。
张福波:谢谢张总,我们有请下一位演讲嘉宾,友友的COO张炬。
张炬:各位嘉宾下午好。感觉大家听了很长时间讲话比较疲惫了,我尽量讲的轻松一点。首先我重复一下以上很多嘉宾提到的,从企业角度看,IT技术发展几个比较明确的趋势,这就包含了从数据角度看,从计算角度看,IT部门逐渐从一个成本中心变成了提供服务的核心部门,所以我们认为从企业IT部门角度看,有三个很明显的变化,首先数据成了核心的位置。第二由此带来第二个变化,企业的IT架构设计上,怎么把一个数据很快处理掉,从这种方式转化成应对数据的增长,把存储的数据真正价值体现出来。第三,IT逐渐从成本中心变成一个能为企业从数据分析,数据挖掘角度真正提供经营价值的方向来发展。
友友从07年开始一直投身于云计算底层基础软件的开发,为什么把自己这么定义呢?大家从市场上听到的云计算,这一个词涵盖了两个方面内容,首先一部分我们说,可能更多宣传的就是云计算服务领域,刚才我们提到了,IaaS,PaaS,最终都是服务,这个更多谈到是交互方式。就是说,你怎么获取你想要的资源,能力,或者服务。
另外一部分,我们叫做技术上的发展,我们认为这是我们友友比较专注的方向。整个云计算的变革在根本技术上有什么演进。从我们角度看很明显几件事,分布式技术的演进,从网格计算开始,从分布式计算,集群,到网格,最终变化成我们提到的云计算,演进还是有明显的上升趋势。这是友友作为一个软件公司所聚焦的领域。
为什么会说云计算是一种变革,必要性在什么地方?是不是就是一个新名词?我们认为有三个很明显的驱动,首先是用户,用户数量增长,网络普及带来很明确的现象,让越来越多的人,越来越多机构,越来越多设备能非常容易从整个IT系统中获取它所需要的信息或者服务。我们把这个归结为用户数量的增长,这个数量的增长在缓慢进程中,终于通过网络大发展达到数量巨大的程度。而且用户多了以后,用户需求多样性了,这就给后面的服务提供商增加了挑战。
另外就是数据量的变化,生成数据的数据量增长是非常快的,没有网络情况下,每个人每个设备生成的数量是线性的,有了网络以后,是点性的,随着关系的增长,数据量就是成倍增长。
由于用户量和数据量增长,直接带来一个后果,就是为了支持用户,支持数据,系统支撑就要非常非常强大。
这就归结到我们友友产品最核心的想法,如果用户数量是持续增加的,我们要应对的数据量是持续增加的过程,后台支撑系统想解决这个问题,最有逻辑的思路就是说,只要能增加资源,线性的增加资源就可以解决这个问题,所以我们认为云计算或者底层平台一个核心目标是通过增加机器而非人员实现能力的扩充。机器多了,增加资源多了,第一个要求就是把这些机器集中起来做一件事情,怎么能把机器很好的组织起来,让他们协作,完成一个任务。
另外两个能力,由于底层系统规模增加了,有两件事必须做的,我底层容量或者体量的增加不应该影响上层服务,上层服务只是我底层资源的用户,这时候就是一个透明性了,我底层资源增加不会影响我的架构,第二个弹性,应该保证我没增加一个资源,底层系统处理能力是逐渐增强。
怎么实现呢?要有三个原则,首先要协同原则,组织资源用以服务,其次要有一个动态原则,组织流程用以应变。第三是规模原则,组织架构用以扩展。从分布式系统来讲,每增加一个节点,无论是网络角度考虑,还是通信协同考虑,都是有一定的损害的,这个系统架构一定要保证我随着容量的增加,整个系统的能力是一个线性增长的过程。
我们针对企业的大数据,在企业内部数据需求是多样的,不同应用系统,不同应用场景,总结起来我们认为这个数据把它单独抽象出来,数据在企业中分三个类型,首先一个是交易数据,也就是说跟你的核心业务关联非常大,比如买卖数据,比如银行的存取款等等,交易型数据,这些数据要求首先是数据是实时的,另外,从存储量和访问量来讲,通常数据量不是非常大,因为你实时性决定了我有效交易数据在某一个时段发生量是有限的,另外一个流逝的业务数据,往往是说,随着交易发生,或者支撑你的核心业务,往往涉及到大量数据,这些数据包括办公文档,包括历史数据用来做运营支撑的,包括做网络优化,做的CDI,这些数据实际上并不是你要保证它的鲜活性,但是这个量非常大,尤其积累一定时间以后,你要深度挖掘。所以我们讲的分布式架构,或者云计算的架构,非常适合解决的范畴是后两类,也就是流逝的业务数据和归档型数据的处理。
我们今天想跟大家交流几个方面,首先一点就是说,在意企业里产生海量业务数据,从数据产生点来说,关键型结构化数据占绝大多数,而且占非常重要的地位,就是说,对企业整个业务系统,或者新型系统最有价值的数据,往往是从交易型系统产生的,重要性很大,这就决定了在传统企业业务系统中间,关键型数据库,往往是最早变成性能瓶颈和压力瓶颈的点,所以从现阶段来看,我们认为企业的信息系统云化,或者采用新的架构来解决真实问题,可能最重要的一个部分就是说,我怎么能用新的技术,新的思路来解决现在企业业务系统中关键型数据库所直接面临的无论是流量还是性能压力的问题。
沿着上面的这个点有三个很典型的应用场景,首先跨域异构海量数据汇聚问题,这个对于大型企业,有很多分公司的集团公司,或者国家机关,部委,这些分支机构的信息系统,最早是自己独立建设的,随着集中化的要求,组织架构的变化,往往要求我怎么把分散在各地的数据有效的汇聚起来,统一管理,统一利用,支持我集中化运营需求。这是很现实的问题。
现有的解决思路不能满足现在的需求,数据仓库是依赖于关键型数据库,容量延展性是一个问题,另外数据提取过程,本质上是一个批量处理过程,也就是说我是一个数据,我必须有一个导出,清洗,导入流程,这个流程通常是批量的,这个时候对数据的鲜活性是有影响的,也就是说在分公司发生的事情,影射到数据同步回来,是有很长的时间差,对数据同步实施性是有影响的。最终导致结果是无论哪个仓库成本都非常高。
新的解决方案,用我们产品可以方便构建多活体关键数据库集群,我们把我们产品分布在中间这一层,解决了中间容量问题,第二部分我们解决的是从远程到进程数据复制的流程,在这个流程中我们采用技术不是批量导入导出,而是采用更接近于流逝处理,随着数据变化,实时发生,把增量数据实时采集出来,然后传输到中央分布式数据库集群里面来。还有很重要一点,中央数据客集群是一个多活体架构,实际上我存储是异构数据,也就是我保证这个数据从远端到中心存储没有经过特别需要的清洗流程,远端数据格式映射到中央是实时影射过来的。
第二个挑战,很多互联网企业,包括电信企业,经常会遇到,对于我的核心数据存储,往往有一些业务需要非常高非常大的吞吐量的访问,而且往往不只是读取而是修改。这个对关键型数据库压力非常大。
那么现有的解决思路呢,当前最常见的是高性能网站的构建是使用应用服务器加数据缓存服务器加关系型数据库服务器组合的架构,其中数据缓存服务器把热点数据实现内存存储,可以大大提高应用服务器对数据的访问速度和吞吐量。
我们提出来的解决方案,我在内存里发生的事情,我通过不同复制机制,保证我数据持久化。我们把这个结构叫做一体化的存储和缓存的结合。同时是用分布式方式实现吞吐量,容量和可靠性的需求。
第三个挑战,叫做统一数据支撑平台。我现在数据最好的情况就是把各个业务系统数据统一存储统一管理起来,而不是每个业务系统都是孤岛,这样对数据发掘就有影响。
做统一数据访问或者统一数据管理,其实这是长久的需求了,在过去思路上,我们叫做EAR模式,企业应用集成方式,虽然数据在各个业务系统里,但我可以定义规范标准,让业务系统之间可以很方便交换这个数据。实际上在某种程度上是解决问题的办法,而且把这个压力释放出去了。但是实现起来挑战非常大,非常复杂的过程,而且往往由于新的业务系统不停加入,EAR的标准很难持续,最终又演变回一个信息孤岛的情况。
我们提出来的解决方案呢,我们把海量数据剥离出来放在分布式存储系统中,然后通过第三方外挂形式,还可以支持近线存储或者离线存储形式,在这个构建完了底层存储之后,我们上面构建一个统一数据访问,这一层可以把底层数据规划好,能抽象出来,为上层应用提供一个相对来说透明的访问机制。
上面跟大家分析了三种在企业中常见的数据压力的场景,把这些东西总结一下,我们提出了通用的基于云计算的大数据平台架构,叫做一二三。
首先是核心系统,包括三个部分,一个是存储系统,另外一个是访问系统,加上数据分析系统。
两个管理机制,实际上分两个部分,第一个数据总线保证在分布式系统里有良好的流动性,另外调动系统和工作流系统。
最后三个支撑框架,实际上数据采集这部分是经常被大家忽略的很重要的一部分,就是数据怎么能采集进来,在这么大的数据压力下,怎么保证数据可靠高速的写进来,这个采集有两个关键点,首先是收集,另外是存储。另外一个运维框架,最后还有管理交付框架。
今天跟大家分享就这些,谢谢大家。
张福波:谢谢张总,友友实际上在云计算是做的很早,也是资格比较老的软件公司,他们拥有比较先进独特的技术,今天张总给我们从大数据,点到点的问题给出了点到点的解决方案。下面最后一位嘉宾,我们有请天云科技高级咨询顾问王淳给我们讲一下大数据他们的产品和理念。
王淳:各位好,下面我给各位介绍一下天云科技这边的一条产品系列,大数据,并不是BIGDATA而是BEAGLEDAT,BEAGLE是一种非常聪明的犬类,意思就是我们这是非常聪明的深层次的知识挖掘和获取。
大家已经接收到很多这方面的信息了,我们刚才也听到友友这边非常精彩的演讲,其实有一些部分是有类似地方存在,我们希望让客户了解到的,是天云大数据这边能提供给用户一些产品,帮助他实现这些内容,我们一直说分布式计算,云计算,虚拟化。但是我们看到互联网这样一个行业开始考虑大数据,或者琢磨一些新的技术来满足大数据这个场景的时候,我们看见他们考虑非常庞杂的数据类型,以及各种各样规模的时候,需求是摆在这里,但是我们发现很多新技术,新的架构,新的产品,我们并不知道它该怎么去用。我们在分布式系统上都已经认可这个架构合理性,但是这个人才并不是很充裕。再就是基于分布式体系架构,我们需要在上面做应用开发,这方面人员也并不是非常多。再就是对于统计学,数学算法这类的专家也不一定能帮助我们完成我们所需要的每项工作,所以我们就需要一种东西,能够很简单的让我们利用。
所以天云大数据这边,我们做了一套产品系列,可以从下往上看,最底层就是BDP,我们提供就是数据平台软件产品,这样一个产品可以帮助用户把大量的数据存放在上面,并且实现的是低成本,高效率的存放。在我们已经落地下来的项目当中,可以实现很少的几台X86架构的PC服务器就可以实现几个TB每小时的数据加载量,我可以低成本快速的把数据放在里面来,毕竟我们往后做的所有事情都是基于数据的,这些数据必须拿过来。
再往上就是BDF,如果非要找一个比对的对象,我们可以简单的把它理解成有点类似于我们曾经做数据仓库的时候讲的ETL的过程,它实现的功能就是能够帮助用户把各种各样的数据源,可能是不同业务部门,可能是历史遗留文件,也可能是跨行业跨领域,范围之内能获取到的数据,甚至有可能需要一些互联网上大量的各种各样结构的数据,我们希望把这些都整合起来,希望做到更全面更有深度的数据整合,因为数据就绪过程被很多企业认为是挖掘非常基础的工作,这一部分任何一个环节打了折扣,可能就导致今后的挖掘分析都不一定是准确的。
当我们有了数据就绪工作完成之后,我们最上面可以提供BDA,说是加速,其实里面会融入很多复杂的组合,能让客户很方便拿来用。说到算法,其实很多人都有误区,算法可能是一个成型的工具,或者一个小子功能,其实说到算法的时候,并不是说某一种算法,或者某几种算法简单组合就可以有,算法是要经过训练的,所以在这个地方解释很多用户的误区,说算法是现成的,其实并不是,我们算法需要帮助客户对业务进行深入的了解之后组合出一些算法作为初期的模型,去进行不断的训练,不断的调整,不断再优化,再训练,再调整的时候,最终才可以形成真正可用的高效率的,而且可以帮助我们实现真正的知识的信息挖掘。
所以我们提供这么三大类的产品系列,后边我们会根据这些内容去简单说一下我们做这个产品的时候关注哪些点,哪些内容。
一直说云计算,一直说大数据,很多人都觉得云里雾里,无法落地,所以刚才也说过,很多用户希望能找到一种方便使用,方便部署的东西,所以我们天云科技这需要做到几个内容,首先一点,就是要做到自动化,我们都知道分布式的框架,底下都是无数台的X86的环境,大量数据结点,我们希望把他用过来,希望用大规模并行能力去处理海量数据,在我们最底层部署的东西一定要能帮助我们快速简单的部署几百上千台服务器。所以我们开发的时候非常专注于自动化,易操作性和友好性。下面我给各位展示一下它的特性。
首先自动化,在BDP当中,从操作系统一级我们开始允许用户可以进行自动化的部署,以及各种参数统一的配置,不同节点各司其职,不同角色分担的时候,哪些是作为数据节点,哪些是作为管理节点,什么样的节点存储什么样的数据,里面各种各样的参数,至于怎么配置,每台节点都可能是不一样的。再有基于事件可视化的管理,安装过程中可能有问题,所有事件都要能记录下来,可以回溯或者重新安装部署。
再有,比如说我的操作系统装完了,我自然要装BDP的软件环境,装软件环境的时候一样,无数台节点都要装上,不同节点都有不同角色的区别,所以在这个地方都是提供比较好的图形化界面,可以让用户定义好某一个模板配置的时候,去把它快速部署到剩下几十台几百台节点上去。
再有,就是到我装好这个环境的时候,我上面的运行状况我需要监控,但实际上,很多也能够实现分布式的部署,分布式的体系架构,支持大数据应用的一些开源产品,本身是不具备这样的功能的,它只具备核心模块和核心功能就OK了,其他功能无法让企业级用户使用,所以我们做产品的时候一直是秉承着我能让用户用一种傻瓜的方式使用这个产品。
还有,统一的性能监控视图,可以对我的各个需求都统一的表现出来,我硬盘使用量,需不需要加硬盘,都会提前告诉用户,信息挖掘最高级的不就是做预测。还有告警信息。
还有对企业友好方面,我们也做了大量开发工作,让它满足企业级的需要。首先就是很多产品架构,我们都说在云计算环境当中不需要考虑计算资源来自哪里,不需要考虑数据来自哪里,但是对于传统运维人员来说,他们心里不踏实,他们非常愿意知道我的东西到底是什么样的?所以在这个地方做了很多工作,包括文件浏览,再就是分布式数据库,还有能让用户实现快速数据导入,再就是数据压缩,这一点是非常关键的,甚至在天云大数据这边,我们已经能简单实现几种压缩算法,在我压缩数据之后,还能够有更好的性能提升,这一点其实是一个非常不错的技术。毕竟我们都知道,压缩是要消耗系统资源的,很有可能带来系统损耗,但是我可以做到越压缩速度越快,当然这是跟固定场景是有区别的。再就是对原数据字典的管理,也都是会集成在BDP企业友好里面的。再就是我这个工具可以提供大量数据存储,处理,查询,但是很多技术随着变化,很多传统使用方式已经不能完全满足这样的要求了,我们提供一种查询界面,允许用户输入他熟悉的SQL,我们会在底层进行数据处理,但是又遇到一个问题,转,也要消耗系统资源,所以天云做了大量工作,最终形成了任务集,我们把很多通用的关键的SQL写法,预先转好的嵌在里面,这样就不需要每次都要转,尽可能缩短响应时间。
还有企业友好度里面,我们也做了很多数据操纵方面的工作和设计,我数据可能来自各种各样的地方,各种各样场景,或者各种各样的系统,这些数据需要快速把它整合在我们BDP平台里面去,让我们去用,所以在这个地方,我们设计了很多界面,包括流程定义,流程监控,就好象我们使用ETL工具的时候,设计一个个数据刘德环节一样,每个环节都是可以定义的,每个环节都是可以支持用户二次开发的。在这样一个环节当中,用户可以把它串成整个数据操纵流程,包括整个ETL三个部分都会涵盖在这里面,最终帮我们实现数据就绪的过程,同时也提供日志监控,看到里面子任务监控到的地步和是否有一些报错的信息。再有整个任务监控,配置管理,我们可以形成模板。还有监控,数据库转换等等。
再往后,就是BDA,所有数据就绪好了之后,我们肯定要用,刚才也说了这些算法,所有算法需要我们去把它找出来,我们也会告诉用户,在经验场景之中,用户是怎么做行为分析,或者做欺诈行为探测,以及国家电网做的智能电表的统计分析挖掘场景之中,都是可以用到各种各样的算法,甚至可以帮助用户爬取数据下来,帮助用户实现数据更广度的发掘,因为我们十年做数据仓库的时候,都是说希望数据尽可能完整,但是以前说的完整是企业内部数据完整,并不包含企业外部数据,我们知道外部数据第一体量更大,第二更说明问题,我们一些客户做舆情分析,做安全维稳分析的时候,都会借助大量互联网数据。这是BDA的这个模块,帮助用户最终获取他所需要的知识。
今天这么简短的片子,告诉各位天云如何帮助用户找到数据,存储数据,使用数据,真正变云为雨,谢谢各位。
张福波:今天非常感谢各位嘉宾,也感谢各位参会者。谢谢大家。