2016年1月,政法委书记孟建柱同志提出大数据的八个推动,要求:1、推动理念创新,顺应互联网时代的要求,确立合作、互通、共赢理念。2、推动风险共担,运用众创、众包、众智理念,让大众的问题由大众来解决。3、推动“数据文化”,坚持用数据说话,防止拍脑袋随意决策。4、推动创新风险预警机制,探索“人力科技”、“传统现代”的风险预警模式。5、推动科技运用创新,大数据表示的是过去,但表达的是未来,得数据者得未来。6、推动运用新技术,加强基层基础建设,把“不起眼”的信息汇集起来。7、推动社会信用体系建设,坚持推行实名制和保护公民个人信息安全并重。8、推动国家信息安全维护,避免被他国“窃夺”数据信息控制权。
大数据通过对海量数据的整合和挖掘,揭示传统技术方式难以展现的关联关系,还可以预警风险,及时切断风险链。例如:·针对堵车现象,实时采集车流数据,自动控制信号灯,让堵车能有所缓解。1.针对城乡结合部“治安盲区”,采集人口流动信息,分析出潜在风险,警力针对性地科学调配;2.针对保险理赔,通过社会信息搜集分析系统,上海等地正积极探索商业保险公司参与社会治理,将保险事务由“事后理赔”转为“事先风险防范”;3.针对聚集疏导,通过关键词搜索技术、热力图技术、电子巡逻技术等,探索预测人群聚集苗头和动向,人员过密时及时提示预警,适时分流人群;4.针对犯罪热点,集成公安专业数据,实时掌握犯罪轨迹、预判犯罪热点,提高防范打击犯罪的水平;5.针对安全生产,工程建设特别容易出事,建立工程建设监管和信用平台,以大数据为依托,“全程留痕”,让监管“无死角”。
车辆大数据实际使用中面临的问题
大数据的特征是大量性(规模超大、不断攀升)、高速性(高速产生、处理高效)、多样性(种类多样、来源多样)、低密性(有用数据提纯)。海量数据给常规技术(获取存储管理、处理传递共享、关联聚类分析)带来了众多挑战——虽然数据很多,但是有用的数据只有34%,好用的数据仅有7%,被分析的数据更是少到只有1%。如何在海量的数据中提取出有价值的信息需要多学科多技术的研究。当前的特点是大数据、小模型、小定律交叉,即使是同一类问题,每个系统也都不一样,所以模型和程序要针对数据设计。结构化数据通过数据库或者数据仓库解决,半结构化数据使用网页和搜索引擎等技术解决,非结构化数据使用深度学习、网络交互和群体智能解决。
干警在实战使用中,最主要的操作应用是查询车牌信息和其他过车记录以便掌握线索。面对动辄几十亿、上百亿甚至千亿级别的海量过车数据的存储和查询压力,如何进行可靠存储和高效应用?传统的普通关系型数据库解决方案和技术手段存在检索难、并发难、挖掘难、扩容难、应用难等一系列问题,速度慢、准确性差,需要投入大量的精力和资源进行技术升级改造。因此,及时准确获取各类相关数据并构建大数据处理模型是建设平安城市大数据中心的前提,而这一难题目前正逐步通过先进的大数据技术进行解决。
车辆大数据的几项关键技术
1、海量数据检索
数据检索作为大数据最基本的应用,分布式内存检索引擎通过将海量数据在集群各个节点创建索引,并高速缓存在各节点内存,节点之间通过分布式特有的网络通信技术,用最小的代价将计算和读取数据完成汇总。当然,基于智慧城市车辆大数据中数据模型的特点,还要对分布式内存检索引擎的机制做专门的优化,才能实现千亿级数据多条件组合的秒级查询。
针对百亿级以上数据,大数据检索的硬件服务器需要考虑SSD固态硬盘,核心数据存储在固态硬盘,可以提高磁盘的读取速度,在分布式并行计算的同时,进一步提升了数据的检索效率,也为数据的稳定性提供了重要保障。