回顾大数据应用领先国家的大数据项目情况,有三个显著特点:首先,现有的大多数大数据项目充其量只是数据量较大的应用。这些国家的政府大数据应用项目,大部分是基于共享存储的结构化数据库,并不使用实时、动态和非结构化或半结构化的数据。第二,公共部门致力于规范大型而复杂的数据集,政府期望大数据应用来提升政府服务民众的能力,以及解决国家面临的重大挑战问题,包括经济、医疗、就业、自然灾害和恐怖袭击等。然而,大部分大数据应用于居民(参与到公共事务)和商业部门,而不是政府部门。第三,政府设立的大部分大数据项目刚刚开始或计划未来实施,美国国家科学基金会和国家卫生机构的大数据计划就是如此。这意味着,大数据在政府部门的应用仍然处于发展的初级阶段,只有少数项目在运营(比如美国的RRP、新加坡的 RAHS和英国的 HSC)。
结论
对不同来源和不同格式(结构化/存储的,半结构化的/滞后的,非结构化的/即时更新的)的数据进行分析和管理并创造价值,是一种新的差异竞争形式。大部分政府运行或计划的大数据项目需要循序渐进,设定正确的目标。项目的成功,取决于他们整合和分析信息的能力(譬如利用Hadoop),开发支持系统(如大数据控制系统)和分析支持决策制定的能力。
本文讨论了政府在大数据应用中面临的挑战和机遇,将为其他国家政府开发和利用大数据提供帮助。通过仔细分析先行国家已有项目的经验和教训,特别是利用移动服务、移动互联等,将有利于这些国家的政府更好地利用大数据。
未应用大数据的政府,应重视和认识公共部门应用大数据的几个问题:
一是国家优先发展战略。大数据应用领先国家的所有大数据项目,都具有国家优先发展的相关目标(比如数据的开放和已获得,公民更好参与公共事务)。对大数据应用的主要关注点集中于安全、速度、交互性、分析能力,和缺少胜任的专业人员。然而,每个国家的政府基于其独有的环境,有自身的优势、机会和威胁。
二是分析机构。对于跨部门的数据,管理和综合数据需要一个自上而下的统筹。政府应建立一个大数据控制中心以综合各部门既有数据的数据库,包括结构化和非结构化的。此外,政府还需要建立一个先进的分析机构负责开发战略,处理大数据如何通过新技术平台进行管理和分析,如何招募到熟练的从业人员。
三是实时分析。政府需要管理即时更新的大数据,并进行实时分析,同时保护个人信息安全,还需要探索的新技术平台(比如云计算,先进分析和安全技术)。相当多的政府数据在性质上是全球化的,而且能够被用于预防和解决全球事务,因此必须开展全球合作。
四是国际化。各国政府间努力集成和共享地球观测数据。全球地球观测系统,是一个全球性的公共基础设施,产生了综合的、接近实时性的环境数据,目的是为全球使用者和决策制定者提供信息以供分析。政府也需要共享与安全威胁、诈骗和非法活动相关的数据。这种大数据需求不仅需要转换技术,还需要国际化的协作去共享和综合数据。
五是ICT专业公司。政府应该与ICT专业公司合作。例如,亚马逊AWS关联很多公共数据集,包括日本、美国人口调查数据和许多基因组及医疗数据库。
编译:工业和信息化部国际经济技术合作中心 高常水 江道辉 蒋钦云