数据工程或是物联网的瓶颈?

  Gartner等一些分析企业都认为,物联网可以对经济产生惊人的影响。2020年,物联网供应商预计将从中获取3090亿收入。同时,物联网还会对经济间接产生19万亿美元的积极影响。此外,物联网创造价值的方式或将颠覆人们的想象。

  物联网部署的关键并非设备的部署,而是对设备产生数据的分析和管理。如果你对物联网的应用感兴趣,那么,这就是你需要学的东西:数据工程。

  物联网部署:绝非问题

  这个礼拜,我发现如今的物联网应用已经变得很简单,甚至工业物联网也是。我和启雷,一个着名的IT顾问一起打算将Wifi升级为网状网络结构。仅仅10分钟后,我们就完成了这一部署,网速也提升到惊人的60MB/S。我确信,Nest恒温器以及烟雾探测器部署也一样简单。

  斑马技术打算推出一个新平台,让智能手机或其他设备更容易实现跟踪标签等一些物联网功能。无论是地区零售店还是沃尔玛这样的巨头都可简单方便的使用此系统享受物联网好处。ThingWorx,另一家刚被PTC收购的物联网厂商已经开发出一款针对车联网,工业物联网的连接,监控及控制数据操作系统。

  由于云和物联网技术,很多曾经的部署配置问题都不再是一个问题。

  数据工程:一大难题

  另外一个仍未消失的难题是:如何处理这些传感器收集到的数据。这个问题不仅仅是由于数据的数量,而是在于数据分析是一门多学科交叉的科学。

  这里,我们给出了一个数据流动的初始想法。大部分情况下,物联网数据是从传感器流向一个巨大的数据湖。接着,数据湖内会进行一些处理及蒸馏过程,高价值的数据会被移动到企业数据库内。

  下一个步骤则是数据分离及结合步骤,这样,可以实现自动化动作和分析模型。另外,每个不同物联网应用可能需要使用不同类型的数据分析引擎。

  和单向数据流的数据仓库不同的是,应用程序,尤其是分析引擎也有可能产生数据流动并流回到企业数据仓库或者数据湖中。

  另外,物联网的数据架构也有不同的新特性:

  1):物联网数据实时处理的需求

  2):数据湖存档或删改的需求

  3):跨公司分享数据的需求

  4):多数量、种类来源数据处理的需求

  5):遍布世界的数据处理需求

  6):大量移动数据的需求

  在我看来,物联网最终将需要一个建立在数据仓库基础上的数据供应链并允许更为动态和复杂的流程架构。建过大型数据仓库的人都知道,这是一个艰巨的任务。即使在云技术的帮助下,物联网数据供应链的建立依旧是件复杂的事情。成功做到这些的公司将在未来的物联网世界获益颇多。

  数据工程技术

  和大多数以前的科技浪潮一样,物联网技术也是一种添加剂。由于物联网,企业数据仓库也将变的更有价值。不仅如此,物联网技术还需要多种不同类型的数据推动。以下未来的三个至关重要的企业:

  Attunity可解决物联网内在复杂性的数据同步的完美技术。随着物联网数据供应链建成,Attunity可为其提供数据来回流动的功能,并无需创建大量用于维护特殊用途代码的库。

  Attunity的董事长兼首席执行官西蒙阿伦解释道:“过去几个月,我们看到了工业物联网市场持续高增长。原因很明显。工业物联网将工厂基础设施、机器、地板电网、交通、发动机、设备和其它元素连接到互联网上,并提供随地连接、管理、控制它们的功能。这可以使企业提高效益并使它们从故障预测,及时维修和更高的安全性中获益。通过使用Attunity的解决方案,企业可以克服数据传输瓶颈,实现全球数据中心及云端更快的传输。这样,企业就能实现更快,更好的实时数据传输。”

  本月初,Attunity宣布推出Maestro,作为数据供应链的中枢神经。Maestro提供了一个中央控制台用于监控复杂网络的数据流动,就像大型企业用于追踪世界各地的货物流动的供应链管理软件那样。这种数据流管理将推动物联网应用的发展。