📜  什么是Amazon Kinesis?

📅  最后修改于: 2021-04-17 04:03:46             🧑  作者: Mango

Amazon Kinesis是Amazon Web Service提供的一项服务,允许用户每秒每秒实时处理大量数据(可以是音频,视频,应用程序日志,网站点击流和IoT遥测)。在当今的场景中,处理大量数据变得非常重要,为此,有一个完整的整体主题称为大数据,该主题致力于如何处理或处理大量数据流。因此,Amazon提出了一种称为Amazon Kinesis的解决方案,该解决方案经过完全管理和自动化,可以轻松处理实时的大型数据流。它允许用户从分布式流(例如社交媒体供稿)中收集,存储,捕获和处理大量日志。通过从任何来源获取任何数量的数据来处理它,它使用户可以专注于开发。在处理完所有数据之后,Kinesis还将所有数据同时分发给使用者。

关键零件

运动学的三个主要组成部分如下:

  1. Kinesis Firehose
  2. 运动学分析
  3. 运动流

让我们详细探讨它们。

Kinesis Firehose:

Firehose允许用户将其数据流加载或转换为亚马逊Web服务,然后再传输给其他功能(如分析或存储)。它是全自动的,并且根据数据自动扩展,因此不需要连续管理。

Kinesis Analytics:

 它允许运动kinesis firehose和运动kinesis流提供的数据流使用标准SQL进行分析和处理。它分析数据格式并自动分析数据,并使用一些标准的交互式模式编辑器在推荐模式中对其进行编辑。它还提供了预构建的流过程模板,可用于为它们的数据分析选择合适的模板。

Kinesis流:

 它提供了用于实时和连续处理数据的平台。为了安全起见,它还通过使用KMS主密钥和服务器端加密来加密敏感数据。

Amazon Kinesis的体系结构看起来类似于下面的图像:

Amazon Kinesis的功能

  • 经济高效:亚马逊提供的所有服务都具有成本效益,因为它遵循“按需付费”的模式,这意味着您必须根据使用情况付费,而不是按固定价格付费。因此,对于用户来说,仅需支付他们使用的费用就变得有利。
  • 与其他AWS服务集成: Amazon Kinesis允许用户使用其他AWS服务并与其集成。可以集成的服务是Amazon DynamoDB,Amazon Redshift以及处理大量数据的所有其他服务。
  • 可用性:您可以随时随地访问它。只需要一个良好的网络连接。
  • 实时处理-它使您可以处理每次需要即时更新的数据。 Kinesis的最大优势在于,当您处理如此大量的数据时,实时处理变得非常重要。

Amazon Kinesis的局限性:

  • Amazon kinesis的限制是,默认情况下,它只能访问记录流日志24小时,但可以延长,但最多可以延长7天,最长不能超过7天。
  • 用户可以在其帐户中拥有的流的数量没有上限。
  • 一个分片每秒最多支持1000个PUT记录。