google-cloud-platform - Google Cloud Dataflow 和 Google Cloud Dataproc 有什么区别？

Question

我正在使用 Google Data Flow 来实现 ETL 数据仓库解决方案。

看看谷歌云产品，似乎 DataProc 也可以做同样的事情。

似乎 DataProc 也比 DataFlow 便宜一点。

有谁知道 DataFlow 对 DataProc 的优缺点

为什么谷歌提供两者？

Answer 1

是的，Cloud Dataflow 和 Cloud Dataproc 均可用于实现 ETL 数据仓储解决方案。

可以在 Google Cloud Platform Big Data Solutions Articles 中找到每种产品存在的原因的概述。

快速外卖:

Cloud Dataproc 为您提供 GCP 上的 Hadoop 集群，以及对 Hadoop 生态系统工具(例如 Apache Pig、Hive 和 Spark)的访问；如果您已经熟悉 Hadoop 工具并拥有 Hadoop 工作，这将具有很强的吸引力

Cloud Dataflow 为您提供运行场所 Apache Beam基于作业，在 GCP 上，并且您不需要解决在集群上运行作业的常见方面(例如，平衡工作或缩放作业的工作人员数量；默认情况下，这会自动为您管理，并且适用于两者批处理和流媒体)——这在其他系统上可能非常耗时

Apache Beam 是一个重要的考虑因素； Beam 作业旨在跨“运行程序”(包括 Cloud Dataflow)进行移植，并使您能够专注于逻辑计算，而不是“运行程序”的工作方式——相比之下，在编写 Spark 作业时，您的代码是受约束的转轮 Spark 以及该转轮的工作原理

Cloud Dataflow 还提供基于"template"创建作业的功能，这有助于简化常见任务，其中差异在于参数值