hadoop - 加载文件到hadoop

Question

我在本地文件系统上有一个包含数据的目录结构。我需要将它复制到 Hadoop 集群。

目前我找到了三种方法:

• 使用“hdfs dfs -put”命令
• 使用 hdfs nfs 网关
• 通过 nfs 在每个数据节点上挂载我的本地目录并使用 distcp

我是否缺少任何其他工具？以下哪一种是制作副本的最快方法？

Answer 1

我认为 hdfs dfs -put 或 hdfs dfs -copyFromLocal 是最简单的方法。

如果您有大量数据(许多文件)，您可以通过编程方式复制它们。

FileSystem fs = FileSystem.get(conf);
fs.copyFromLocalFile(new Path("/home/me/localdirectory/"),   new Path("/me/hadoop/hdfsdir"));