右键点击查看大图
图4以CBERS-02和LANDSAT5为例, 对整个数据处理流程的数据吞吐率进行对比分析. 对地观测数据处理全流程包括从数据接收(RC)、数据记录(RD)、数据传输(TR), 数据预处理-零级处理(L0)、辐射校正(L1)、几何校正(L2), 深加工处理-精校正(L3)、正射校正(L4)、镶嵌(MO), 信息提取-以图像分类(CL)、气溶胶反演(AQ)为例, 专题应用-以海上溢油(OS)为例等[7].
从图4可以看出, 在整个对地观测数据处理流程中, 卫星数据在接收、记录和传输阶段基本具备实时处理能力, 因为其处理速度与卫星下行码速率基本一致. 但是, 在数据预处理、深加工处理、信息提取以及专题应用等环节中, 其数据吞吐速率直线下降, 只有卫星下行码速率的1%~30%. 因此, 后续的数据处理环节无法满足实时的数据处理需求. 而且, 越往后的数据处理环节, 其数据吞吐速率也越低.
2.3 对地观测数据增值服务需求日益旺盛
进入21世纪以来, 各种商业卫星遥感数据不断涌现, 高分辨率卫星影像的应用日益广泛, 卫星遥感增值服务市场欣欣向荣. 特别是美国国家航空航天局(NASA)和欧洲空间局(ESA)实行的卫星遥感数据共享以及低价商业分发政策, 进一步推动了世界卫星遥感增值服务市场的快速发展.
由于原始数据销售的利润越来越低, 世界卫星运营商已调整其发展战略以适应这种形势, 即把增值服务作为获取新的利润增长点的一个最重要战略加以重视和发展. 法国SPOTImage把“大力发展经加工处理的‘增值产品’和归档的、可多次销售的现成品”作为提高竞争力和获取利润的手段之一. Digital Global在不同的场合宣传自己“不仅仅是卫星数据提供商, 同时也是信息的服务商”. 增值服务已成为相关遥感机构关注的焦点, 也将成为其获取利润的有效举措. 实际上, 行业应用也对遥感数据增值产品有广泛的需求.
Forecast International在《2013~2022年全球民用&商业遥感卫星市场》报告中预测, 2013~2022年全球将发射113颗遥感卫星, 市场规模将达到196亿美元. 报告认为, 尽管军队和政府仍然是遥感卫星数据的主要用户, 但商业市场发挥着越来越重要的作用. 对于非专业用户, 卫星运营商将更多地提供经过深加工处理后的信息, 而不是原始数据, 以进一步扩大市场[8]
正如Frost & Sullivan公司2011年发布的“亚太地区卫星对地观测市场”研究报告中指出的那样: 遥感市场的未来依赖于增值服务, 该领域的竞争非常激烈. 到2020年, 卫星图像作为一种商品, 从卫星图像提取有用信息的增值服务将决定商品的价值. 对于相关企业来说, 未来发展的方向将是从卫星图像供应商转变为信息服务商(http://www.researchandmarkets.com/reports/1803560/asia_pacific_satellitebased_earth_ observation).
旺盛的对地观测数据增值服务需要“数据密集型计算”的技术支撑. 举例来说, 利用Landsat数据生成一幅30 m分辨率的除我国南海、东海以外的陆地部分的卫星影像, 需要537景数据(图5(a)), 其处理过程包括数据的正射校正、投影转换、色彩均衡、图像镶嵌以及图像增强等步骤, 往往需要花费几天甚至十几天的时间来完成(图5(b)). 从对地观测数据处理全流程分析可知, 这些环节恰恰面临对地观测数据的“数据密集型计算”问题.
3 对地观测大数据处理与服务的几点思考
前面阐述了对地观测大数据的特点, 系统分析了对地观测大数据处理全流程, 指出了对地观测数据增值服务的旺盛需求以及对地观测大数据处理面临着“数据密集型计算”的挑战性问题. 针对这一问题, 对地观测大数据处理应该在系统平台、处理算法和服务模式3个方面开展创新性的研究工作.
3.1 系统平台
针对对地观测数据体量大、算法复杂度高、实时处理需求的特点, 需要开展高性能对地观测数据处理软、硬件平台的研究. 海量对地观测数据处理通常在卫星数据中心的高性能计算集群上开展. 高性能计算集群的计算硬件平台一般包括通用刀片服务器、高性能互联网络以及海量存储设施.