hadoop - 使用 hdfs 的 Impala 分区表

Question

我将数据以以下格式存储在 hdfs 中，并使用“alter table add partition”命令将这些数据插入到 impala 分区表中。

/user/impala/subscriber_data/year=2013/month=10/day=01/user/impala/subscriber_data/year=2013/month=10/day=02

一切正常。

现在我有一个新数据，月份和年份分别为 10 和 01。现在我需要处理这些数据并将这些数据附加到现有的 hdfs 目录中(年=2013/月=10/日=01)。

当我尝试处理并插入到 hdfs 目录时，由于输出目录已经存在而给出错误。

有没有办法在不删除现有目录的情况下将新数据附加到现有的 hdfs 目录？

另外，如何使用 impala 将新数据插入现有分区？ (我只有年、月、日分区的表)。

Answer 1

要插入现有分区，您必须删除现有分区，然后将其与构成该分区的所有文件一起添加回来，包括您的新数据。