gpt4 book ai didi

amazon-redshift - 使用 Apache Nifi 将数据从 vertica 传输到 Redshift

转载 作者:行者123 更新时间:2023-12-02 17:19:43 25 4
gpt4 key购买 nike

我想使用 apache nifi 将数据从 vertica 传输到 redshift。我需要设置哪些处理器和配置?

最佳答案

如果 Vertica 和 Redshift 具有“行为良好”的 JDBC 驱动程序,您可以设置 DBCPConnectionPool对于每个,然后是一个 SQL 处理器,例如 ExecuteSQL , QueryDatabaseTable , 或 GenerateTableFetch (后者生成用于 ExecuteSQL 的 SQL)。这些会将您的记录转换为 Avro 格式,然后(在 NiFi 1.2.0 之前)您可以使用 ConvertAvroToJSON -> ConvertJSONToSQL -> PutSQL将您的记录插入 Redshift。

在 NiFi 1.2.0 中,您可以设置一个 AvroReader 用于 PutDatabaseRecord。然后您只需要 SQL 处理器从 Vertica 中获取记录,直接到 PutDatabaseRecord 将它们放入 Redshift。

关于amazon-redshift - 使用 Apache Nifi 将数据从 vertica 传输到 Redshift,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43863511/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com