gpt4 book ai didi

apache-nifi - 在 NiFi 中将 Avro 转换为 Parquet

转载 作者:行者123 更新时间:2023-12-02 16:59:33 30 4
gpt4 key购买 nike

我想在 NiFi 中将 Avro 文件转换为 Parquet。我知道可以通过 ConvertAvroToORC 处理器转换为 ORC,但我没有找到转换为 Parquet 的解决方案。

我正在通过 ConvertRecord(JsonTreeReader 和 AvroRecordSetWriter)处理器将 JSON 转换为 Avro。之后,我想先将 Avro 有效负载转换为 Parquet,然后再将其放入 S3 存储桶中。我不想将它存储在 HDFS 中,因此 PutParquet 处理器似乎不适用。

我需要一个处理器,例如:ConvertAvroToParquet

最佳答案

@Martin,您可以使用我最近在 Nifi 中贡献的非常方便的处理器 ConvertAvroToParquet。它应该有最新版本。

此处理器的用途与您正在寻找的完全相似。有关此处理器及其创建原因的更多详细信息:Nifi-5706

代码 Link .

关于apache-nifi - 在 NiFi 中将 Avro 转换为 Parquet,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54762152/

30 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com