在“云物移大智”(即云计算、物联网、移动互联网、大数据、智慧城市)时代的信息共享必须要有多种数据共享技术的支撑。
(1)数据标准化技术。包括农业数据的清洗处理技术,农业数据资源编目技术和数据格式规范技术等。其中数据清洗不仅要通过人工校验,还要开发数据清洗模型和算法,通过数据间的相互印证和逻辑关系校准异常值,补齐缺失值,形成规范统一的元数据。
(2)共享系统对接技术。针对跨平台、跨部门、跨系统的不同需求,亟需研究高通用、可伸缩、易扩展的平台对接技术,实现结构化、半结构化和非结构化数据的对接,实现数据机器可读可记。研发数据融合模型和资源交换技术体系,包括统一的通信协议、消息处理机制以及业务交换流程等;
(3)数据存储技术。针对海量数据的实时性、快捷性调用需求,基于传统的数据库,研究开发基于hadoop和Mapreduce等平台的云存储技术,以及开发数据一体机,实现存储与计算的并发运行。
(4)海量数据检索技术。针对数据产品多源性、海量性和繁杂性特点,规范和统一数据文件管理方式,开发能够支持海量影像数据的快速调用、动态显示的模糊检索和精准检索运算技术,包括布尔检索,逻辑检索、截词检索、临近检索和字段限制检索等;
(5)共享数据安全技术。综合利用防火墙技术、入侵检测技术、安全评估技术、防病毒技术等,建立完整的、立体的、多层次的系统安全防御体系。