hadoop - NIFI:使用卡夫卡并将数据存储到配置单元中的正确方法

Question

我的任务是创建应该从kafka提取消息，从中转换消息并存储到Hive表中的kafka使用者。

因此，在kafka主题中，有很多消息作为json对象。

我喜欢添加一些字段并将其插入到 hive 中。

我使用以下Nifi处理器创建流程:

ConsumeKafka_2_0

JoltTransformJSON-用于转换json

ConvertRecord-将json转换为配置单元

的插入查询

PutHiveQL

该主题将足够加载，并且每天处理大约5Gb数据。

因此，有什么方法可以优化我的流程(我认为向Hive提供大量插入查询是一个坏主意)？也许最好使用外部表和putHDFS Processor(通过这种方式将分区与输入json合并到一个文件中？)

Answer 1

您可能怀疑，使用PutHiveQL执行大量单个INSERT的性能不是很高。使用外部表方法可能会更好。如果表为ORC格式，则可以使用ConvertAvroToORC(对于Hive 1.2)或PutORC(对于Hive 3)，它们都会生成Hive DDL以帮助创建外部表。

也有Hive流处理器，但是如果您使用的是Hive 1.2，那么PutHiveStreaming也不是很出色(但仍应优于具有INSERT的PutHiveQL)。对于Hive 3，PutHive3Streaming应该具有更高的性能，这是我推荐的解决方案。