📜  AWS Kinesis

📅  最后修改于: 2020-11-07 03:38:50             🧑  作者: Mango

运动学

在了解Kinesis之前,您应该了解流数据。

什么是流数据?

流数据是从数以千计的数据源中连续生成的数据,这些数据源可以同时以较小的大小发送数据记录。

以下是流数据的示例:

  • 从在线商店购买商品人们在amazon.com上购买商品并生成流数据,并且该流数据可以是交易,产品等。
  • 股票价格股票价格也是流数据的一个示例。
  • 游戏数据假设用户正在玩愤怒的小鸟游戏,而应用程序正在将流数据生成回中央服务器。该流数据可以是“用户在做什么”,“分数是多少”。
  • 社交网络数据社交网络数据也是流数据的另一个示例。假设您访问了Facebook,更新了您的状态,然后在朋友的墙上贴了一条帖子。然后将所有这些数据流式传输。
  • 地理空间数据当您使用uber且设备已连接到Internet时。 Uber应用程序一直在说uber驱动程序在哪里,您在哪里,它正在询问地图,以便为您提供到达目的地的最佳路线。这也是流数据的一个很好的例子。
  • iOT传感器数据它感测全世界的监测温度。

什么是Kinesis?

Kinesis是AWS上的一个平台,用于发送您的流数据。它使分析负载流数据变得容易,并且使您能够根据业务需求构建自定义应用程序。

Kinesis的核心服务

  • 运动流
  • Kinesis Firehose
  • 运动学分析

运动流

  • 运动学流由碎片组成。
  • 分片每秒提供5个事务处理,每秒最大总数据读取速率为2MB,每秒最多提供1,000条记录,写入总速率最大为每秒1MB。
  • 你流的数据容量是您指定的数据流分割数量的函数。 Kinesis流的总容量是所有分片容量的总和。

Kinesis Stream的体系结构

假设我们有EC2,手机,笔记本电脑,物联网正在生成数据。他们因产生数据而被称为生产者。数据被移至Kinesis流并存储在分片中。默认情况下,数据在分片中存储24小时。您可以将保留时间增加到7天。将数据存储在分片中之后,您便拥有了称为使用者的EC2实例。他们从分片中获取数据并将其转变为有用的数据。使用者执行了计算后,有用的数据将被移至任一AWS服务,即DynamoDB,S3,EMR,Redshift。

Kinesis消防站

  • Kinesis Firehose是一项用于将流数据传递到目的地的服务,例如Amazon S3,Amazon Redshift,Amazon Elasticsearch。
  • 使用Kinesis Firehouse,您不必管理资源。

Kinesis Firehose的体系结构