借助计算机技术, 尤其是高性能计算学科的最新成果, 从高性能计算软件方法角度提高对地观测大数据的处理性能[9,10]. 需要重点开展高性能并行遥感文件系统的体系结构、高性能IO中间件[11,12]、分布式内存体系结构的运行系统[13]、并行对地观测数据处理的编程模型[14]、复杂数据处理流程的优化调度算法[15,16]等方面的工作.
基于上文讨论的高性能计算软、硬件平台, 还需进一步开展针对对地观测数据的存储、计算、共享和分发的算法软件以及数据结构的研究, 包括时空元数据组织、多分辨率影像存储以及共享体系结构等等.
3.2 处理算法
对地观测大数据处理算法复杂、流程众多. 同时必须注意到, 对地观测大数据来源不仅仅是单一的空间传感器, 地面观测、互联网和社交媒体等成为对地观测数据的重要来源. 对于多源、高维、异质和复杂关联的对地观测数据, 需要开展新型智能处理算法与处理模式的研究:
(1) 借助智能信息处理技术, 尤其是信号处理、图像处理、模式识别和人工智能的最新前沿成果, 开发新型处理算法, 提高处理算法的智能化程度和效率, 降低处理算法的复杂度, 从根本上提高对地观测大数据处理效率. 需要重点研究对地观测大数据的表征、学习、挖掘和知识发现的理论与方法[17], 以及适应对地观测大数据的认知模型、智能解译、目标提取与识别和信息融合技术等[18];
(2) 新型计算模式, 如群智感知、众包计算等, 为对地观测大数据的协同处理与高效组织提供了全新的机遇. 同时, 借助这些新型对地观测大数据的计算模式, 有望更好地促进对地观测大数据处理中“数据密集型计算”问题的解决, 满足人类社会生活对空间信息的需求.
3.3 服务模式
长期以来, 遥感数据的分发都是按照“接收-处理-存档-分发”的流程来进行的. 通常, 数据提供商首先需要完成遥感数据的接收与处理, 并对数据进行归档入库, 然后用户才能通过检索、下订单的方式来订购或下载数据. 在这种分发模式下, 从数据提供商接收遥感数据到用户拿到数据产品通常需要几天甚至更长的时间. 随着对地观测领域传感器技术的发展、海量多源遥感数据获取能力的提高, 多源数据处理呈现出精细化分工与协同式综合并存的发展局面; 同时, 各种遥感应用又需要得到不同卫星、不同区域或国家数据中心的数据支持, 对遥感数据处理提出了复杂多样的需求. 应重点研究遥感数据产品标准化、系列化的指标体系与分类体系, 主动服务、智能服务、一站式服务的理论、方法与技术, 有针对性地提高对地观测大数据处理与产品生产的能力, 提高遥感数据产品服务的效率. 同时, 还应重视对地观测技术与其他地理信息技术、互联网技术、物联网以及云计算技术等高新技术的深度融合, 综合利用卫星、航空、地面乃至大众观测数据, 形成新的信息服务模式和产业链. 面向未来发展和用户需求, 依托中国遥感卫星地面站基础设施和数据资源, 中国科学院遥感与数字地球研究所开展了新一代遥感数据服务模式研究, 该服务模式集数据、计算及服务于一体, 一方面可提供陆地观测卫星下行数据的实时主动推送[19], 同时对下行数据中的异常变化信息进行快速分析与发布, 提高数据服务的响应速度, 提升对自然灾害和突发事件的快速监测与预警服务能力; 另一方面, 通过建立“RTU-Ready To Use”产品库, 向用户提供标准化、系列化和多样化的数据产品服务, 从而逐步从形式和内容上改变中国遥感卫星地面站传统的卫星数据服务模式, 适应对地观测大数据时代的应用需求.
4 结束语
在阐述大数据时代遥感数据特点的基础上, 对遥感数据处理流程进行了分析, 认为大数据时代的遥感数据处理与分析面临的一个重大挑战是“数据密集型计算”问题, 它是制约遥感数据规模应用的关键因素之一. 如何快速、自动地进行遥感大数据的处理和分析, 进而完成空间数据产品的主动、智能的信息服务, 是大数据时代对地观测领域面临的一个严峻课题. 本文认为, 解决这一问题应该在系统平台、处理算法和服务模式3个方面开展创新性的研究工作.
参考文献
1 Lü X F, Cheng C Q, Gong J Y, et al. Review of data storage and management technologies for massive remote sensing data. Sci China Tech Sci, 2011, 54: 3220–3232 [吕雪锋, 程承旗, 龚健雅, 等. 海量遥感数据存储管理技术综述. 中国科学: 技术科学, 2011, 41: 1561–1573]