hadoop - 带有文件列表的Hadoop distcp

Question

我想使用distcp将文件列表(> 1K文件)复制到hdfs中。我已经将文件列表存储在本地目录中，现在可以使用-f复制所有文件吗？如果是，我必须在文件列表文件中保留什么格式？还是还有其他更好的方法？

Answer 1

如果用例将数据从本地文件系统(例如Linux)复制到HDFS，则不必使用distcp。您可以简单地使用hdfs dfs -put命令。这是语法。
hdfs dfs -put /path/to/local/dir/* /path/on/hdfs/
例如
hdfs dfs -mkdir /user/hduser/destination-dir/hdfs dfs -put /home/abc/mydir/* /user/hduser/destination-dir/
您已经创建了一个包含文件路径列表的文件，但是完全不需要。当您将数据从一个群集复制到另一群集时，主要用于(用于distcp)