华为徐兴海、区波:面向业务创新的大数据平台及商业实践

  电信运营商大数据平台的演进

  我们可以看一下运营商建立大数据的利用演进的过程,最早运营商会看大数据的数据引入过来使得原来历史的数据进一步的做处理和分析,去发现,最早引入运营商大数据的应用比较多的会看到我们做详单的查询,详单我们呼叫的记录详单保存在记录里面量非常大,以前过一段时间我们就把它归档或者从业务系统里面拿掉。但是这些数据其实在以后我们还需要对它进行查询访问,甚至更进一步的分析,而大数据的技术应用使得第一步从一个简单的应用,我们可以对历史数据进行访问和分析,第二块我们也会建一些客户深入的洞察,把原来业务系统里面的数据,跟我们网络上客户的行为数据去做关联,去做客户深度的洞察。但是从这种角度来看,每一个系统或者每一个应用基本上都是垂直在建的。所以接下来我们到了第二个阶段,其实就是要看运营商希望把整个基础的架构,包括原有的业务数据,包括网络运营的这些数据,包括对外部支撑的数据,希望能够有一个公共的平台,所以第二个阶段建一个公共平台,通过公共平台支撑上面的数据分析和业务应用。第二个阶段是有限的一些开发商或者服务商提供,运营商为了更广泛的让更多的人使用他的平台和数据,同时让他的数据价值得到更大程度的发挥,希望有更多的合作伙伴在平台上做数据价值的发现,做数据应用的开发。所以第三个阶段更多看到平台需要有一个更开放的环境,有一个统一的平台,有一个统一的数据治理的环境,有一个开放的数据,使众多的开发商和运营伙伴在这个平台做产品开发和数据使用。

  这是基于前面的构想的一个生态环境的描述,最下面可以看到我们有一个数据的提供者,过去这里面更多会谈到运营商自己的一些数据,我的业务系统的网络数据,未来有第三方的数据接入。第二层可以看到有一个数据的统一的基础架构,上面会构建一些公共的服务,并且把这些服务开放出来,这里面包括平台本身自己的服务,包括一些深度计算,数据处理,技术分析的服务,我们把这些服务能够在扁平化的平台上开放出来,而这些开放的是基于相对的标准,不同的开发商不同的消费者可以在这个上面基于这样的标准开发他们的应用。这里面会有数据的开发者,他们基于运营商的数据做数据的加工和处理,会有应用的开发者他们基于这些数据,基于平台的能力开发适合特定的需求的应用,也会有一些工具的开发者,这些工具开发者包括传统工具的提供者,也包括基于今天新兴大数据底层的数据,做二次开发。最上面是我们看到的一些服务的最终数据消费,他们有可能是运营商内部的客户,也有可能是外部的客户。

  面向运营商的大数据分析平台

  从这个上面我们推导出来我们需要平台的架构,底层我们可能接入这些数据,包括传统的从运营商自己的业务系统里面的数据,也包括网络上的数据,网络上的数据其实以前在运营商的分析环境里面是接触比较少的,因为这些数据如果要去采集的话,会对网络本身有一些影响,所以我们在构建这样平台的时候,从采集到数据的存储和加工,除了考虑我们对数据本身使用的需求以外,由于这个本身IT环境和CT的环境已经在那里,有他自己的一套架构,同时还需要考虑的是,对这些数据进行采集处理、加工,同时要考虑到怎么样减少对原有系统的影响,以及保持这个系统的稳定性。

  绿色既包括我们对传统IT的数据仓库,数据库的集成,也包括像Hadoop新兴大数据的集成,在整个平台上我们还会考虑构建一个统一的数据治理,因为随着Hadoop和非结构化数据的应用,这些数据如何变成运营商或者一个企业客户的数据资产的角度来对他有效的管理,这个里面也是很重要的,因为我们知道数据仓库和Hadoop数据的形态可能都是不一样,需要有一个统计的数据治理。我们还需要考虑在现有的环境里面,如何去跟已有的环境去做整合和集成,运营商这样一个企业IT的环境比较复杂,我们也会考虑到跟数据来源提供者和数据消费提供者的关系。通过能力开放去提供第三方的服务的使用。

  在整个平台的设计和构想后,我们已经在一些客户那面得到了一些试点和使用,在这里面就列举了一些,由于引入新的数据处理的手段,新的数据感觉的手段以及分析手段以后,我们能够进一步做哪些分析是我们原来产生的经营分析系统没有办法做。另外我们也可以知道通过网络侧的深入分析我们可以知道,比如说没有人拿了同一个CM卡在不同的地方,一个CM卡被复制,同时在打电话,如果这两个CM卡在不同的基站使用肯定能体现出来。另外一个领域可以看到,可以服务运营商做网络的优化,我通过时时分析知道,在我这个网络和基站里面有哪些用户,这些用户如果基站的某些指标对那些用户产生什么样的影响,从而做网络的优化。