Amazon发布Kinesis服务更新

WriteProvisionedThroughputExceeded – 由于超出Shard每秒1000条记录或每秒1MB数据的限制而进行限流后,已经被拒绝的记录数量。

用户可以使用这些信息估算自己的系统性能。例如可以检测上游应用程序发布数据的速度是否过快,超过了下游应用程序(Consuming application)的处理能力进而产生吞吐率瓶颈。

基于时间的迭代器

当应用程序从流中读取数据时,为了以正确的顺序拉取正确的数据,需要追踪数据在流中的位置。在Kinesis Streams中可以使用迭代器实现该功能。在本次更新之前可以使用顺序号、最老记录或最新记录作为迭代器。

在AWS的此次更新中,用户已经可以指定时间戳决定要从哪里开始处理自己的流。这种功能的一个用例是:当下游应用程序经历计划内停机时,发布方可能依然在向流中发布新数据。默认情况下,Kinesis Stream最多可存储24小时的数据,这样消费应用程序就可以通过提供时间戳,从上次中断的地方继续处理流中发布的数据。