政府使用大数据是为了提升和改善公共服务,这与企业利用其追求利润异曲同工。
大数据是从各种各样来源中搜集得到的海量数据信息的总称。对于传统的关系型数据分析技术来说,其数据量太大,未经处理,同时也是非结构化的。据统计,现在每天产生2.5艾字节(quintillion bytes)的数据信息,全球将近90%的数据是过去两年创造出来的。
此外,从大数据的数据结构看,大约90%的数据是非结构化的。来源于网络和云的海量数据,为发现、创造价值,以及丰富商业智能支撑机构决策提供了新的机遇。不过,大数据也面临复杂性、安全和隐私风险等新挑战。同时,对于新技术和人类技能的开发来说,大数据是一种需要。
大数据重新定义了数据管理的范围,由数据提取、转换、加载,或称为ETL(Extraction-Transformation-Loading),演变为在大数据应用中净化和组织非结构化数据的新技术(如分布式架构技术)。
尽管企业部门正引导大数据应用的发展,公共部门也开始对迅速增长的大数据具有洞察力,为实时决策提供帮助和支持。
大数据有多个来源,包括互联网、生物和产业部门、视频、电子邮件和社交媒体。许多白皮书、期刊论文和商业报告已经提出了政府利用大数据,帮助其服务公众和应对传统挑战(如医疗成本上升、创造就业、自然灾害和恐怖主义等)的路径。
也有一些观点,就大数据是否真能改进政府运作效率提出质疑,因为政府必须发展新的能力,并采用新技术(比如分布式和非结构化查询语言),通过数据组织和分析,将大数据转变为有用的信息。
本文就政府是否能与企业一样,将大数据应用于公共服务部门进行了研究。我们首先比较了政府和企业在目标、任务、决策制定过程、决策者、组织架构和战略的差异,接着考察了部分技术领先的国家当前大数据应用的状况,这些国家包括澳大利亚、日本、新加坡、韩国、英国和美国等。
本文也分析了一些企业的大数据应用,这些技术也能应用在政府事务中。最后,我们提出了国家和政府部门未来建设大数据战略应用项目的建议。
文章主要观点
企业、政府和研究机构都能够从他们搜集的海量大数据中获取价值;
大数据应用领先的国家已实施大数据应用项目,以提高国家运行效率、透明度、民众福利和公共事务参与度,确保经济增长和国家安全;
分析政府部门采用的大数据应用项目,为其他国家提供未来大数据行动的引导。
企业和政府的比较
虽然企业和政府的主要任务并不冲突,但各自的举措具有不同的目标和价值。企业的主要目标是通过提供产品和服务获取利润,发展或维持自身的竞争优势,创造令消费者和其他利益相关者满意的价值。政府的主要目标则是维持国内稳定,实现可持续发展,确保公民的基本权利,改善国民福利和促进经济增长。
在竞争的市场环境下,大部分企业着眼于制定短期决策,并且执行人员数量也很有限。而政府的决策制定过程通常需要更长的时间,经过不同群体(包括官员、利益集团和普通民众)反复讨论和磋商,在彼此间达成一致后才能有最终结果。因此,政府制定决策要完成很多程序性步骤,以降低决策风险,提高决策效率和确保其效果。由此看来,大数据在政府部门和私有部门的应用具有很大不同。
数据集属性比较
大数据环境是以信息技术为基础的决策支持系统的演进:从上世纪60年代的数据处理,到70-80年代的信息应用,再到90年代的决策支持模型,进入2000年后的数据存储和挖掘,再就是今天的大数据。大部分与大数据相关的技术和分析应用是从2010年左右开始出现的,故大数据时代正处于早期阶段/发展初期。
大数据的属性和挑战已经用3V来描述:海量(volume)、速度(velocity)和多样性(variety)。海量是大数据的基本属性,各类机构和组织在业务活动过程中产生数以百万亿字节的数据,数据容量越来越大。速度是指数据量增长越来越快,对处理速度和响应速度提出更高要求,运用传统的信息技术手段难以有效处理,以及从中提取有价值的信息。多样性是指数据以各种各样类型的出现,包括结构化的(SQL等传统的数据库);半结构化的(具有关键字和规则,但数据结构不规则或不完整)和非结构化的(非组织性的数据,没有商业智能)。