其一,不管是数据类型还是信息类型,安防大数据的种类很多,而且主要以视频图像等非结构化信息为主,更侧重于对非结构化数据的信息分析、提取和挖掘;其二,就数据容量而言,安防大数据所产生的数据量更大,所需要消耗的存储空间也更大,对数据的存储、访问和管理要求更高;其三,以数据量基础做比较,安防大数据中的信息价值密度更低,因此从海量的图像信息中快速和准确地检测或者挖掘到有用信息的难度更大;最后,就单个信息生成点更新的频率来看,安防数据更新速率更快,视频监控数据7×24小时都在持续不断的更新和积累,信息一直不停地产生与更新。
由于这些大数据的特性,对于海量非结构化视频数据以及各类图像特征数据的存储、管理、分析和应用给安防行业带来巨大的挑战,也促使新的安防信息处理技术和应用架构的出现。
云计算与大数据技术在安防领域的应用主要体现在以下三个方面:
1. 云存储技术解决了海量视频大规模存储、管理和应用的问题。
云存储采用存储虚拟化技术,能够为所有的业务系统提供一个统一的存储空间,且通过分布式存储技术,可以支持快速的视频资源读写;采用先进的数据离散冗余技术,提供高可靠性,单台设备可以允许三个甚至更多硬盘的损坏,数据不会丢失;提供百PB以上的数据管理能力,并且能够平滑扩容,扩容过程对业务不影响。
2. 基于云计算的分布式智能分析技术,能够快速处理海量视频图像。
通过弹性资源分配、并发处理技术,大量的视频图像数据被快速地处理,视频的目标也被快速地从视频中提取出来,支撑视频的分析应用。
3. 大数据技术可以将视频监控系统内的视频目标信息,包括前端感知型摄像机抓取到的目标信息、分布式智能视频分析系统分析出来的信息,以及过车信息、车辆特征信息等都关联起来,进行信息的综合分析。
云存储、分布式智能分析技术,以及分布式大数据都用到了云计算技术,分布式大数据则使用了大数据的分析引擎,它们之间联系紧密。对于安防行业而言,如何将云计算与大数据技术真正落实到安防项目中,对于解决视频图像的行业级别应用难题是非常有价值的思考。 典型应用:南宁——云端的平安城市
南宁的平安城市建设,某种意义上说正是在“云”端开展起来的。
从2011年开始,经过两期的建设,笔者公司已助力南宁初步建立起平安城市的总体框架。随着南宁平安城市建设规模的不断扩大,公安部门在图像实战应用过程中,一些问题逐步凸显,主要表现为:①监控与卡口点位覆盖面仍然不足;②系统存储的视频图像已达PB级别,很难满足高效存储管理和快速调用的需求,平滑扩容难度增加;③视频线索检索、定位、提取主要依赖人海战术,效率不高。
针对以上出现的问题,南宁平安城市项目三期正式启动。经过与公安部门的共同商讨,决定应用云、感知、大数据等先进技术,从前端、平台、存储以及应用等方面提高南宁平安城市建设图像的使用效能。在云应用方面,南宁走在了时代的前列。
运用云计算技术,南宁构建起社会治安管理监控报警联网系统云计算平台,能够支撑对10000路监控前端的系统管理与调度。云计算平台实现了物理资源的统一管理和调度,能够密切监测资源应用情况并按需调度分配资源,通过设备虚拟化、集群虚拟化技术,提升了物力资源的利用效率与系统整体服务的可靠性。
云存储对分散在各分局的监控平台和存储设备统一集中,所有涉及平安城市的视频图像、车辆信息、人员信息等全部集中存储、集中管理。云存储系统提供了海量视频图像的存储管理、高性能数据读写、高可靠数据保护、便捷数据共享以及横向平滑扩容等能力,为南宁市平安城市云平台奠定了强大的数据存储应用基础。考虑到远期建设规划,在云存储系统的机房、运维等环境建设上都留有扩展冗余的空间和能力,可方便地扩容以满足未来业务需求。
云平台具备高性能视频数据分析计算处理能力,能够支撑各种大规模视频监控业务、视频图像应用系统的运行,在智能视频分析中能更准确地对视频图像信息进行摘要和分析,快速响应大量业务数据服务,满足来自各部门、各区域的业务系统与用户的海量并发请求。视频分析处理后的各类线索信息以及其他结构化和非结构化数据也可以更快、更精准地进行关联和分析,以支撑同时建设的各项视频业务应用系统。