摘 要：通过分析信息化建设脉络中高速公路数据的海量产生，结构复杂的海量数据存储及处理，阐述大数据平台在智慧高速建设中的作用，总结大数据在智慧高速中的客户服务、运营优化、稽查分析、应急资源调度、预测预警等方面的具体应用，对交通指挥中心工作提供支持。
关键词：智慧高速 分布式数据处理 数据挖掘 客户服务 优化运营 预测预警
Abstract：This paper analyzes the effect of big data platform in the construction of expressway construction by analyzing the mass production of expressway data and the complicated data storage and processing in the context of information construction, summarizes the customer service and operation optimization of big data in expressway, inspection and analysis, emergency resource scheduling, forecasting and early warning of specific applications, so as to provide support for the traffic command center.
Key words：intelligence expressway; distributed data processing; data mining; customer service; operation optimization; forecasting early warning
引言
随着经济社会的发展，城市人口持续增长，数量持续增长的车辆给交通基础设施通行能力带来极大压力。交通拥堵、交通事故、环境污染及能源短缺已成为目前面临的重要问题，尤其在高速公路交通管理尤其变得更加明显。如何有效利用传统的高速公路数据与设备，提高交通运输效率、安全性、整体效益，提高交通的科学管理和组织服务水平是管理者迫切需要解决的问题。
车辆在高速公路上，本身的动作及设备会产生海量数据，在没有大数据平台之前，高速公路上产生的数据分门别类的分布在Oracle、MySQL等数据库中，因为各自处理语言不同，在刚使用时分析速度尚且可以，但随着数据量越来越多，查询调用越来越频繁，速度变得越来越慢，无法满足高速管理需求。
高速公路数据产生
高速公路的信息化建设包含从基建到信息记录等多个层面。所有的环节都在不停地产生数据，成为智慧高速中的海量数据来源。首先是高速公路的硬件和基础设施，当一辆车开进收费站，先经过地下预埋的地感线圈，经过地板线圈进行切割磁力线，产生很弱的电流，车辆开进来会由定焦在地感线圈的摄像机拍一张图片，产生车辆进入收费站的第一个数据。继而递交收费卡、读卡、写卡，写卡的同时计算从A点到B点的费用，每一个动作都在产生数据。高速公路收费还涉及更加复杂的情况，如起点A到终点B，中间经过三段高速公路，三段的收费主体不同，需要在收费的金额上进行三个收费主体的拆分，这涉及到后台的数据计算。所以一辆车从进入收费口到驶离收费口，至少会产生两张图片，十余条流水数据，同时还会产生车道摄像和停位摄像等大量的视频信息。
产生大量车辆数据的同时，收费员的动作，如按抬杆键、放行键、军车键等，也会产生数据记录，方便后续稽查时的图片分析，避免逃费等行为。设备本身也会产生大量数据，比如抬杆、打票、红绿灯转换，全部都会产生日志信息进入数据库，这还只是收费相关的数据信息。在看不到的地面上，还会存在很多信息采集系统，比如地磁式传感器、摄像头，检测车辆通过时的平均速度、平均车间距和平均占有率等等信息，大量数据都会进入数据库，进行后续的存储分析。一辆车在驶离高速公路时，已经产生了大量的数据信息，其中包含结构化和非结构化数据、流数据等多种数据形式。
大数据平台架构设计及数据处理
高速公路上产生的海量数据，需要一个企业级的大数据平台，对数据进行分门别类的存储管理，TDH企业级一站式大数据平台，以分布式架构对数据进行存储和计算，并在此基础上进行数据处理和应用。
大数据平台架构设计
数据进入大数据平台，上游业务系统中的数据，通过文件交换或Sqoop方式同步到大数据平台的贴源层，然后经过批处理加工后，形成明细层、汇总层和模型层。对于历史数据，比如收费站入口流水表和出口流水表，选择存储在Search引擎中，可以进行快速的历史数据检索。对于非结构化数据，例如图片和视频影像，选择存储在Hyperbase引擎中。同时，为了提高大数据平台的数据质量，使用Governor管理元数据(包括表和存储过程)，监控所有数据的更改历史，进行数据血缘分析和影响分析。对上层的基于大数据平台的应用，可以使用标准的JDBC或ODBC与大数据平台进行连接，对数据挖掘需求，如节假日车流量预测、高速路拥堵程度预测等，可以图形化拖拽机器学习平台Sophon组件进行预测，如图1所示。