深度:对地观测大数据处理、挑战与思考

政府间对地观测协调组织(Group on Earth Observ- ations, GEO)已于2005年2月16日正式成立. 2014年1月15~17日, GEO在瑞士日内瓦召开了第10次全会和第三次部长级峰会. 会议一致认为要继续推动《GEOSS十年执行计划》的实施. 此计划致力于提高全球人类的生活质量. 目标是建立一个综合、协调和持续的全球综合地球观测系统, 同时在灾害、健康、能源、气候、天气、水、生态系统、农业和生物多样性等9个社会发展领域开展应用和信息服务, 为各国决策者提供从初始观测数据到专门产品的信息服务(http://www.earthobservations.org/).

36大数据 36大数据

1986年中国遥感卫星地面站的建立标志着中国的遥感应用进入了新的纪元. 在过去的30年间, 中国遥感卫星地面站先后接收了包括Landsat, SPOT, JERS, Radarsat, ERS, Envisat, CBERS, HJ, ZY和GF等国内外系列卫星数据, 截止2013年存档各类对地观测卫星数据资料达330余万景, 是我国最大的陆地观测卫星数据历史档案库. 其中, 仅美国陆地卫星Landsat TM和ETM影像就有63万景左右, 时间跨度为1986~2011年. Landsat 8也于2013年发射升空. 这些卫星数据以合适的空间分辨率记录着人类活动和自然变化, 成为最长时间系列的星载陆地观测数据集. 特别是我国陆地观测卫星数据全国接收站网建成以后, 密云、喀什和三亚3个接收站实现了覆盖我国全部领土和亚洲70%陆地区域卫星数据的接收(图3). 正在建设的极地站将进一步扩展我国卫星数据的接收范围. 另外, 气象和海洋等卫星系列也为人类认知地球提供了时空动态数据. 近年来, 随着城市地理信息系统发展和新一代高分辨率卫星系统相继投入应用, 数据的年增量加速提高, 每年约递增30~50 TB. “十二五”期间, 我国计划发射5~6颗地球观测卫星, 建成高空间分辨率、高时间分辨率和高光谱分辨率的对地观测系统, 数据量将大幅增加. 作为高分辨率对地观测系统的首发星, 高分一号卫星突破了高空间分辨率、多光谱与宽覆盖相结合的光学遥感等关键技术, 分辨率可达2 m, 经过相机多角度视场拼接, 优于16 m分辨率的视场可达800 km以上, 4天即可完成一次重访, 在分辨率和幅宽的综合指标上达到了目前国内外民用光学遥感卫星的领先水平(http://www.cnsa.gov.cn/n1081/n7634/n516721/n516736/611179.html). 而2012年升空的ZY-3卫星, 每天获取的数据量就在10 TB以上. 到2020年, 高分系统与其他观测手段相结合, 将形成具有时空协调、全天时、全天候和全球范围观测能力的稳定运行系统. 可以说对地观测领域已经正式步入了大数据时代.

2 对地观测大数据处理与服务面临的挑战

2.1 对地观测大数据特点分析

从所涉及和应用的数据来看, 对地观测大数据具有鲜明的大数据“4V”特征. 对地观测不仅记录地球现状, 而且可以展现地球演变历史和预测未来发展, 数据体量十分巨大, 规模已达到EB级. 在数据类型上, 对地观测大数据包括文档、视频、图片和地理位置信息等, 涉及对地观测、科学模型、社会和经济等多种数据, 类型繁多. 对地观测大数据的数据来源多样, 不仅有大量的高分辨率遥感卫星数据, 基于有线或无线传感器的地基观测技术也迅速发展, 来自各种地基观测系统的数据量呈指数递增. 此外, 对地观测大数据处理系统具有对海量数据进行快速处理、实现数据到信息快速转化的能力, 能够为人类可持续发展面临的环境、灾害和生态等问题提供第一时间的信息服务支持[5,6].

对地观测数据已成为空间地球信息科学研究的基础资料. 但是, 对地观测大数据的机理模型及其在科学发现中的理论与方法仍有待深入研究. 不仅要关注对地观测大数据所具有的大数据“4V”特征, 也要重视对地观测大数据的其他本质特性.

对地观测数据的“4V”特征:

(1) 海量. 对地观测大数据具有海量数据特点, 高分辨率、高动态的新型卫星传感器不仅波段数量多、光谱和空间分辨率高、数据速率高、周期短, 而且数据量特别大, 仅EOS-AM和PM每日获取的遥感数据量就达TB级, 全球对地观测数据已经达到EB级.