大数据在美国军事及民用航天领域中的应用

国防部及其下属国防高级研究计划局现有的大数据项目共有10个。其中,具有代表性的项目是:数据到决策、网络内部威胁、影像检索与分析和X-数据项目。

1)多尺度异常检测(ADAMS)项目。解决大规模数据集的异常检测与表征问题。在此背景下,数据中的异常为在各种现实背景下搜集另外可操作的信息提供了线索。

2)网络内部威胁项目。该项目的目的是通过采用新式网络威胁判断技术,提高探知网络活动的精度、频度和速度,从而及早暴露和防范对手的破坏活动,并提升己方的网络安全水平。寻求研究新的方法检测军方计算机网络中的符合网络间谍特征的活动,旨在提高检测网络威胁的准确度、比例与速度。

3)洞察力项目。以解决当前情报、监视与侦察系统中的重要不足,旨在研发一种资源管理系统,通过分析成像和非成像传感器及其他来源的信息,自动识别威胁网络和非常规作战行动。

4)机器读取项目。通过研发学习系统,处理自然文本并在知识库中插入产生的语义表示,而非依赖于当前用于知识表达昂贵且费时的处理过程。

5)“心灵之眼”项目。旨在开发一种可在机器上应用的“可视化情报”能力。

6)面向任务的弹性“云”项目。旨在开发检测、诊断和应对攻击的技术,为“云”计算环境建立有效的“社区卫生服务体系”,应对“云”计算中固有的安全挑战。

7)加密数据的编程运算项目。旨在为运算中的数据开发其在应用的整个过程中保持加密状态所需的切实可行的做法与相关的现代编程语言,克服在“云”计算环境内信息安全面临的主要挑战。

8)影像检索与分析项目。其目的是开发一套系统,使军事图像分析员有能力开发收集到的大量视频内容,使分析员能够为有价值的活动与事件建立起预警功能。该项目一旦取得成功,分析人员将能从海量视频库中快速、精确地检索特定的视频内容,由此便能充分、高效地挖掘影像中隐藏的有用信息。

9)X-数据项目。该项目的主要内容是:通过开发大容量数据分析所需的可扩展算法,以便处理分布式数据存储库中的不规则数据;通过开发高效的人机互动设备和可视用户界面技术,以便在多样化任务中更好、更快地执行操作。旨在为分析大量半结构化和非结构化数据开发计算技术和软件工具,主要解决处理分布式数据存储中不完整数据的可扩展算法,以及用于各种任务、可迅速定制,方便视觉推理的有效的人机交互工具。

10)数据到决策项目。该项目的主要内容是:首先,通过各种新途径充分利用海量数据,整合感知、认知和决策保障系统,以创造一种真正自主的系统,使之可以自主机动作业并做出决策;其次,提高态势感知水平,以协助作战人员和分析人员,并为作战行动提供更好的保障。国防部正在研发新技术,以使分析员从各种语言的文本中获取信息的能力提高100倍,目的是使分析员查知各类目标、活动和事情的能力取得相似程度的提升。

目前,在《大数据研发倡议》中,国防部仅负责数据到决策这一个项目;国防高级研究计划局负责其余的9个项目,并已经开始启动X-数据项目。

美军大数据项目研发的进展

美国政府除正式出台了大数据研发政策文件外,还在组织机构上对大数据研发项目加强了管理,在资金上加大了投入。

美国白宫科技政策办公室专门成立了“大数据高级指导小组”,以协调和推动政府在这一关键领域的投入。

报告“设计数据化未来”认为,联邦政府在大数据相关技术上投入不足。针对此问题,国防部除了承担在“大数据研发倡议”中的任务外,每年还将通过一系列项目,在军事部门中投入约2.5亿美元用于大数据研发,其中6000万美元用于新设立的研究项目。此外国防高级研究计划局已开始研发的X-数据项目每年耗资约2500万美元,并将持续4年。

国防部还与一些知名大学和大型企业签订了有关大数据项目的合同,以便充分利用知名大学的人才资源和大型企业的技术优势,提高研发效率。例如,2011年,国防高级研究计划局同佐治亚理工学院签订了一份价值270万美元的技术研发合同,以帮助解决大数据的技术挑战。该合同属于X-数据项目的组成部分,以解决可扩展分析和数据处理技术难题。2013年2月5日,Continuum Analytics公司宣布,已收到计划局300万美元的研究经费,为大型多维度数据集的交互搜索开发Numpy、SciPy和可视化技术。