hadoop - Hive插入流数据产生的小文件如何管理？

Question

我正在使用简单的 Kafka 消费者读取 Kafka 消息。
将输出存储到 HDFS 并进行一些过滤。

过滤后，我将这些数据写入 Hive，这会导致小的 orc 文件进入 Hive。

有人可以建议我如何处理这种情况吗？

Answer 1

之后您可以通过运行来减少现有 ORC 文件的数量

ALTER TABLE tablename CONCATENATE;
or ALTER TABLE tablename PARTITION (field=value) CONCATENATE;

为了防止 HIVE 生成太多的 ORC 文件，请尝试

set hive.merge.mapredfiles=true;