amazon-web-services - ADF(AzureDataFactory) DataFlow 的替代方案

Question

什么可以替代 ADF Dataflow。

数据流是 Azure 数据工厂 (ADF) 的一项新功能，允许用户开发图形数据转换逻辑，这些逻辑可以作为 ADF 管道中的事件执行。

AWS或GCP中有类似的工具吗？

Answer 1

GCP 和 AWS 中都有与 Azure 数据工厂类似的工具，它们提供了一种无需任何编码即可大规模转换数据的方法。您可以通过构建一系列转换来在设计器中设计数据转换作业。

Google 云平台:

• 谷歌云 Data Fusion - 云原生数据集成服务，帮助构建和管理 ETL/ELT 数据管道。具有图形界面和广泛的预配置连接器和转换开源库等。

亚马逊网络服务:

• AWS Data Pipeline - 专注于数据传输。支持使用 SQL 命令预加载转换。您可以通过控制台、使用 AWS 命令​​行界面 (CLI) 和 JSON 格式的管道定义文件以图形方式创建管道，也可以通过 API 调用以编程方式创建管道。