apache - Hive在处理小数据表插入时是否有问题？

Question

有人告诉我，任何配置任务作业都会消耗32 GB的内存或群集中的大量内存，而执行琐碎的行插入操作会导致创建许多小文件。

这是真的？

使用Hive插入少量数据本来就是错误的吗？

Answer 1

小文件本身可能是Hadoop的问题。当您在配置单元中插入单独的行时，每一行将保存到不同的文件。每次插入操作需要几秒钟。您可以在以下示例中看到。我已将3行插入到 hive 表中，并创建了3个2字节文件。您应该避免在Hive中插入少量数据。这可能会导致诸如名称节点的内存不足之类的问题，因为文件的元数据将存储在内存中。

create table testing (t int);
insert into table testing values (1);
insert into table testing values (2);
insert into table testing values (3);

dfs -ls /apps/hive/warehouse/testing;
-rwxrwxrwx   1 root hdfs          2 2015-12-08 23:59 /apps/hive/warehouse/testing/000000_0
-rwxrwxrwx   1 root hdfs          2 2015-12-08 23:59 /apps/hive/warehouse/testing/000000_0_copy_1
-rwxrwxrwx   1 root hdfs          2 2015-12-08 23:59 /apps/hive/warehouse/testing/000000_0_copy_2