hadoop - 使用 Hue Hadoop 在现有表中导入新数据时遇到问题

Question

当我在现有表中加载新数据然后执行 select count(1) 以获取加载的总行数时，我只获得一个 HDFS 文件的计数。

行数只代表一个HDFS文件的数量。

要导入“新数据”，我单击此处:

此外，这里是 MySQL 中的总计数:

Hue Hadoop 中的总数:

顺便说一句，这里是文件浏览器:

你知道我做错了什么吗？

Answer 1

试试这个:

invalidate metadata default.movie;

您很可能使用 Impala 作为引擎来检索数据，而此命令用于重新加载元数据。

By default, the cached metadata for all tables is flushed. If you specify a table name, only the metadata for that one table is flushed. Even for a single table, INVALIDATE METADATA is more expensive than REFRESH, so prefer REFRESH in the common case where you add new data files for an existing table.

如果你想更进一步，check this out.