从两百多个地方将大数据汇聚到数据中心,如何将效率提高30倍?

  在各种以英姿飒爽的警察们为主角的刑侦剧中,不知道大家是否有留意他们肩上配备的小黑盒子,可能有人会认为那只是普通的道具。其实不然,这个形似收音机的黑盒子实际上是警察执法过程中必不可少的装备,它的学名叫做执法记录仪。

  执法记录仪集数码摄像、数码照相、对讲送话器功能于一身,能够对执法过程进行现场情况数字化记录,当警务人员下班之后,其佩戴的执法记录仪可自动将本日工作内容保存到所在的派出所,并实现自主清空与充电,不仅实现了警务证据的电子化,同时也能监督公安干警的执法是否妥当。

  可以说,执法记录仪已经成为了执法过程中普遍采用的警用设备。但是,与此同时,应用执法记录仪对其支撑平台也有着较高的要求,如每天源源不断产生的海量执法记录,对各派出所数据中心的上传速度与承载能力就提出了挑战,即使数据中心不断扩张,也难以满足电子数据的增长需求,不少派出所面临着传输速度慢以及存储不足的困扰。

  为此,云创大数据自主研发的电子证据平台应运而生。该系统将由 cStor 云存储、cTrans云传输以及cVideo云点播构成的统一云平台软件部署在现有云存储服务器集群上,从而实现对案件录像存储、传输、点播回放等相关业务需求的处理。

   (cStor 管理控制中心) 

  具体而言,可将每个派出所视为获取电子证据的前端,其通过执法记录仪采集的各种视频数据,经由云传输发送客户端,通过cTrans传输机制,被分块加密并高效传输至云传输中心端,此后利用负载均衡调度服务器,数据将分摊到多个云传输服务器,以上传到具有高容量的cStor云存储系统中,实现了数据的快速汇总与集中存储。同时由于文件被分成多个数据块进行分布式存储,客户端可同时访问多个存储节点。

   (cTrans部署结构逻辑示意图) 

  如果用户需要查看历史录像,cVideo流媒体服务器可以将这些视频文件进行流化,将视频流格式推送至客户端,客户端无需进行“下载/缓存”的本地化操作即可直接播放视频。当有重大案件发生时,在同一时间可能会有大量警务人员同时点播同一段录像视频,这时云点播系统可支持1000路并发,方便多人同时访问同一视频。

  目前该平台已经在某市公安局搭建完毕,该市200余个派出所每天可通过cTrans云传输的方式,对接67个服务器,高效地上传当日重点监控视频、移动端案件处理录像等记录,在规避网络拥塞的同时,传输速度由之前的每秒1-3M跃升至30-90M/s,传输效率提升了30倍。

  

  (cTrans云分发系统传输界面)

  与此同时,上传的这些数据将安全可靠地保存到市局的云存储中,当需要调取的时候,通过在线点播方式直接获取视频流,本地不进行视频缓存,不仅保证了出现相关事故后所有视频录像文件可供查证,而且进一步提升了安全性,在其应用的两年间安全事故发生率为0。除了执法记录仪数据,该电子证据平台还具有传输与存储审讯室视频、交通卡口视频等多元化应用。