hadoop - 跨 hadoop 实例移动部分数据

Question

我必须将特定数据 block 从一个 hadoop 集群复制到另一个。我写了一个配置单元查询，将数据转储到 hdfs 中。将文件复制到目标集群后，我尝试使用命令“load data inpath '/a.txt' into table data”来加载数据。我收到以下错误消息

Failed with exception Wrong file format. Please check the file's format. FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask

我已将数据转储为序列文件。谁能让我知道我在这里错过了什么？

Answer 1

如果要在表中存储序列文件，则在创建表时应使用STORED AS SEQUENCEFILE。你已经写过你已经将数据转储为 Sequence file 但你的文件名为 a.txt。我没听懂。

如果你想将一个文本文件加载到一个需要序列文件作为数据源的表中，你可以做一件事。首先创建一个普通表并将文本文件加载到该表中。然后做:

insert into table seq_table select * from text_table;