gpt4 book ai didi

google-cloud-platform - Dataprep 与 Dataflow 与 Dataproc

转载 作者:行者123 更新时间:2023-12-03 21:23:20 25 4
gpt4 key购买 nike

要执行源数据准备、数据转换或数据清理,我们应该在什么场景下使用 Dataprep、Dataflow 和 Dataproc?

最佳答案

数据准备/转换/清理任务都可以看作是 ETL 过程,可以使用您提到的任何产品来实现。 This较早的答案涵盖了 Dataflow 与 Dataproc 问题的基础知识,包括 this链接总结了在这三者之间进行选择时应牢记的内容。

简而言之,您应该考虑熟悉程度(您是否已经使用过 Hadoop 生态系统工具?束编程模型?您更愿意通过 UI 工作吗?)和所需的控制级别(dataproc 允许对集群进行更多控制,数据流和数据准备是完全托管的服务)。

更多好读物:

  • Comparing Cloud Dataflow autoscaling to Spark and Hadoop
  • Cleaning data in a data processing pipeline with Dataflow
  • 关于google-cloud-platform - Dataprep 与 Dataflow 与 Dataproc,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50939275/

    25 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com