概述 ：
随着云存储市场的增长，数据仓库架构正在迅速发展。由于其改进的连接性、集成性和较低的拥有成本，企业正在迁移到基于云的数据仓库，例如大查询、红移或雪花。由于许多整合数据分析堆栈的用户询问我们哪种数据仓库最适合他们的数据驱动型数字化转型：Google Big Query、Snowflake 或 Redshift，因此我们汇总了最佳数据仓库列表。尽管 Redshift、Big Query 和 Snowflake 都非常接近。但是，个人在选择方法时应注意一些差异。在这篇博客中，我们将通过提供“Redshift vs Big Query vs Snowflake”之间的差异来回答这个问题。
先决条件 –
- 在深入研究基于云计算的数据仓库（如红移、大查询和雪花）以及它们之间存在的细微差别之前，必须彻底了解数据仓库。
- 数据仓库是集成数据的中央存储库，通常用于连接、分析和报告来自组织内不同来源的业务数据。 DW 存储有关业务的历史信息，以从中分析和提取见解。
- 数据仓库的一些优点包括容易识别和纠正错误、数据的一致性和更快的分析。
亚马逊红移：
Amazon Redshift 是一种基于云的 Amazon Web 服务数据仓库，可进行管理并扩展到 PB。它的设计使其能够处理广泛的数据存储和执行大规模数据库迁移。在这方面，故障排除、更新软件等不是最终用户关心的问题。它是一种收集数据的有效解决方案，可以对其进行分析以提供有意义的业务洞察力。无论数据大小如何，Redshift 都能提供快速的查询性能。 Redshift 架构由节点和集群组成。每个集群都有一个领导节点和多个计算节点。接收、解析和开发查询执行计划由领导节点完成。计算节点的类型和数量取决于许多因素，包括数据大小、要执行的查询数量和执行性能。
红移的优点：
- 高性能——
由于大规模并行处理、列式存储、良好的数据压缩和查询优化等多种因素，Redshift 提供了高性能。 MPP 使 redshift 能够快速执行复杂的查询。此外，存储在 redshift 中的数据使用列式存储安排，减少了负责优化分析查询性能的整体输入输出磁盘需求。另一方面，数据压缩通过降低存储要求来增加查询容量。所有这些因素都有助于提高整体性能。 - 极快——
在加载和查询数据以进行分析和报告时，Redshift 的速度快如闪电。它允许大规模并行处理，这有助于以非常高的速度加载数据。 - 巨大的存储容量——
作为数据仓库的 Redshift 提供了从 GB 到 PB 等的大存储容量。 - 安全 –
Redshift 提供了高度的安全性。它具有多种功能，包括数据加密和访问控制选项。在 redshift 中，我们可以加密多个位置的数据。它允许对从存储在集群中的数据到传输中的数据的数据进行加密。
雪花：
Snowflake 是一个基于云的完全托管的数据仓库，它允许构建一个可扩展、高度灵活的云环境。 Snowflake 可以在 AWS、Azure 和 Google Cloud Platform 上使用，因此它被认为是一个多云数据平台。由于具有大数据管理能力，雪花既可以用作数据仓库，也可以用作 SQL 数据湖。 Snowflake 不需要任何硬件和软件来安装、配置或管理。此外，所有正在进行的维护、管理和升级都由 Snowflake 自己管理，因此它被认为是真正的 SaaS 产品。 Snowflake 无法在私有云基础架构上运行。相反，它的所有服务组件都在公共云基础架构上运行。 Snowflake 的云基于一个先进的平台，该平台是通过将新的 SQL 查询引擎与创新的架构相结合而构建的。 Snowflake 结合了“共享磁盘”和“无共享”架构。它使用大规模并行处理计算集群处理查询，类似于“无共享”数据库架构，并使用集中式数据存储库保存持久数据，类似于共享磁盘数据库架构。
雪花的优点：
- 高性能查询 –
Snowflake 允许企业快速访问 AVRO、JSON、ORC 和 Parquet 数据，从而提供您的业务和客户的完整视图以获得更好的洞察力。 - 无限查询并发——
雪花可根据需要轻松灵活地扩展数据。随着需求的增加，数据可以类似地按比例放大，当没有需求时可以按比例缩小。它还允许用户同时访问所有数据。 - Snowflake 是一个多云数据平台——
Snowflake 允许其用户访问 3 个具有高可用性和安全数据的不同云。 Snowflake 可用于 AWS、Azure 和 Google Cloud Platform。
谷歌大查询：
Google Big Query 是一个完全托管的无服务器数据仓库，用于分析超过 PB 的数据。它是一个非常高效的基于云计算的数据仓库，用于分析大量数据以提供有意义的业务洞察力。十多年来，谷歌在内部使用这项技术来分析和报告数据。 Big Query 的数据安全、持久且高度可用。使用 Google Big Query，您可以通过实时和预测分析获得洞察力。它还包括机器学习功能。 Google Big Query 是一个运行在 Google Cloud Platform (GCP) 上的查询引擎。 GCP 由管理资源的项目组成。一旦设置了 Big Query API，数据就可以存储在 Big query 的表中。 Big Query 将数据表划分为更小的组件，称为数据集。 Google 的 Cloud Platform 有一项名为 Google Cloud Storage (GCS) 的存储服务。默认情况下，管道每五分钟将源数据加载到 GCS 中，然后使用 Big Query 的批量加载功能将其加载到 Big query。
谷歌大查询的优势：
- 大查询允许使用SQL查询机器学习模型的测试–
在 Big Query ML 功能的帮助下，您可以使用标准 SQL 查询创建、运行和测试机器学习模型。 Big Query ML 可以通过用户界面和 REST API 访问。 - 可扩展性和成本效益——
由于 Big Query 是一种“即用即付”的成本模型，对于存储和查询，使用成本是可变的，这意味着将根据每月的使用量计费。但是，它还为首次使用 1TB 的用户提供免费的存储和查询服务。此外，它还有很多免费的操作，不会产生任何成本，例如将数据加载到 Big Query 等。 - 管理和维护大查询提供的服务——
所有 Big Query 更新都会立即提供给您的系统，您无需管理任何基础设施。
红移 vs 雪花 vs 大查询：
- 价钱 –
至于哪个数据仓库最好，钱是最难衡量的。就 Redshift 而言，集群的大小需要预先确定。这意味着无论您是否查询数据，您都将按集群的小时使用量付费。这使得 Redshift 在查询较少时成本更高。但另一方面，如果查询分布均匀且数量庞大。 Redshift 最终可能会便宜很多，因此它是可以预测的。在 Snowflake 中，计费基于您存储的数据量和花费的时间，因此很容易衡量和预测。另一方面，Google big Query 根据使用情况收费，即使用成本不是固定的。计费是根据处理的数据量完成的。 Big Query 可能看起来更便宜，但由于 Big Query 更难预测，因此在大量查询时可能会变得昂贵。 - 可扩展性——
Redshift 具有本地存储配置，它需要重新配置集群以调整大小或更改机器实例类型，这需要大量时间。在 Google big query 和 snowflake 中，存储和计算是分开的。因此，与其他两个云计算数据仓库相比，红移需要花费更多的精力，因为存储和计算在红移中没有分离。 - 安全 –
购买数据仓库最重要的方面之一是安全性。重要的是要意识到数据不应该与恶意的第三方交换。所有这三种数据仓库技术都有安全措施来保护您的数据。谈到 Redshift，它提供了各种安全功能，包括加载数据加密、数据库安全、SSL 连接等等，Google 的 Big Query 也将安全性作为首要考虑。在这种情况下，默认情况下所有数据都经过加密并在传输中。以非常相似的方式，Snowflake 还基于云的提供商功能提供严格的安全性。
结论
最后，在基于云的数据中心领域，Redshift、Big Query 和 Snowflake 的相似之处在于它们提供了基于云的规模和成本节约。您需要考虑的最大区别是服务的计费方式，尤其是这种计费方式如何适合您的工作流程。如果您有大量数据但工作负载零星（即，您有时会在大量空闲时间下运行大量查询），Big Query 可能会更便宜、更简单。如果您有更一致、更连续的使用模式，雪花会更具成本效益。当涉及到查询和您正在使用的数据时，您将能够将更多查询压缩到您支付的时间中。如果您有机器工程师，Redshift 可以让您灵活地根据需要调整基础设施。