AWS将实时特性打入其云服务

Twitter通过2011年购买Backtype获得Strom建立者Nathan Marz,因此它应该是个典型的Storm用户。Storm帮助Twitter完成许多事情,比如让用户Timeline保持实时更新,但是该公司同样依靠了许多其他工具(Hadoop,当然名列其中)来做一些长期趋势分析和搜索引擎模型训练。

Amazon CTO Werner Vopgels在11月对外公布了Kinesis服务

就像Storm,在将数据运输到另一个数据存储(基于AWS平台的ElasticMapReduce、Redshift或者DynamoDB)之前,Kinesis就能够进行实时处理。但是区别于Storm,Kinesis保存数据的时间可以长达24小时,同时,通过软件开发工作包或者SDK可以自动地扩展到每小时上千个TB 。Kinesis还含一个转移数据到Storm的连接器,AWS数据科学经理Matt Wood解释到,在当现存Storm用户想继续使用它来处理数据时,Kinesis可以实现自动连接。

对Kinesis来说SDK是一项关键,因为这项服务的设计宗旨就是“降低建立响应式应用程序的门槛”,AWS在一次采访中说到。早期访问用户,包括移动游戏开发商Supercell,正在使用Kinesis对游戏服务器和市场平台Bizo中的数据流进行处理,然后供给实时监控面板。 Wood说Bizo有一个异常小的研发团队,能有机会省却管理数据管道的工时,从而转移到更具价值的任务上,这得感谢AWS。

当Amazon首次公开Knesis这个产品时,我们就会发现,AWS的云服务无可比拟,这里我们不妨计算一下其他云供应商提供自己流处理服务的时间。当下企业的计算基础设施一般都包括一个完整的数据管道,用以收集和处理数据,因此如果其他云服务供应商想遏制用于疯狂涌向AWS,那么他们不可以只有一个Hadoop。