📜  DynamoDB-数据管道

📅  最后修改于: 2020-11-28 14:06:48             🧑  作者: Mango


数据管道允许从表,文件或S3存储桶中导出数据或从中导入数据。当然,这对于备份,测试以及类似的需求或方案非常有用。

在导出中,您使用数据管道控制台,该控制台将创建新管道并启动Amazon EMR(Elastic MapReduce)集群以执行导出。 EMR从DynamoDB读取数据并写入目标。我们将在本教程的后面详细讨论EMR。

在导入操作中,您将使用数据管道控制台,该控制台将创建管道并启动EMR以执行导入。它从源读取数据并写入目标。

–鉴于所使用的服务,特别是EMR和S3,导出/导入操作会产生成本。

使用数据管道

使用数据管道时,必须指定操作和资源权限。您可以利用IAM角色或策略来定义它们。执行导入/导出的用户应注意,他们将需要有效的访问密钥ID和秘密密钥。

数据管道的IAM角色

您需要两个IAM角色才能使用数据管道-

  • DataPipelineDefaultRole-这具有您允许管道为您执行的所有操作。

  • DataPipelineDefaultResourceRole-这具有您允许管道为您提供的资源。

如果您不熟悉数据管道,则必须产生每个角色。由于现有角色,所有以前的用户都拥有这些角色。

使用IAM控制台为数据管道创建IAM角色,并执行以下四个步骤-

步骤1-登录到位于https://console.aws.amazon.com/iam/的IAM控制台

步骤2-从仪表板中选择角色

步骤3-选择创建新角色。然后在“角色名称”字段中输入DataPipelineDefaultRole,然后选择“下一步” 。在“角色类型”面板中的“ AWS服务角色”列表中,导航至“数据管道” ,然后选择“选择” 。在“审阅”面板中选择“创建角色

步骤4-选择创建新角色