hadoop - 重组 HDFS 中的文件

Question

我需要移动由 Hive 作业编写的文件，如下所示

/foo/0000_0
/foo/0000_1
/bar/0000_0

变成这样的文件结构

/foo/prefix1/prefix2-0000_0
/foo/prefix1/prefix2-0000_1
/bar/prefix1/prefix2-0000_0

在将其迁移出集群之前(使用 s3distcp)。我一直在寻找 hadoop fs，但我找不到能让我这样做的东西。我不想逐个文件重命名。

Answer 1

首先，您需要在/foo 中创建子目录。为此使用以下命令

$hdfs dfs -mkdir/foo/prefix1

这将在/foo 中创建一个子目录。如果你想在 prefix1 中创建更多的子目录，请使用更新的路径结构递归地使用相同的命令。如果你使用的是旧版本的 Hadoop (1.x)，请将 hdfs 替换为 hadoop。

现在您可以使用以下命令将文件从/foo 移动到/foo/prefix1。这里的 newfilename 可以是您想要给文件的任何名称。

$hdfs dfs -mv/foo/文件名/foo/prefix1/新文件名

希望这能回答您的问题