java - Hadoop Java - 将文件从Windows共享文件夹服务器复制到HDFS

Question

我想从 Windows 共享文件夹服务器上传多个文件(例如//server_name/folder/)使用 Java 到我的 HDFS

我尝试过的方法列表

• org.apache.hadoop.fs.FileUtil 设置输入路径 =//server_name/folder/它说 java.io.FileNotFoundException:文件//server_name/folder/不存在

• FileSystem.copyFromLocalFile(我认为这是从本地hadoop服务器到hdfs服务器)

• IOUtils.copyBytes 与 fileUtil 相同 >> 文件不存在

• 一个简单的 File.renameTo 与 fileUtil 相同 >> 文件不存在

  String source_path = "\\server_name\folder\xxx.txt";

  String hdfs_path = "hdfs://HADOOP_SERVER_NAME:Port/myfile/xxx.txt";

  File srcFile = new File(source_path);

  File dstFile = new File(hdfs_path);

  srcFile.renameTo(dstFile);

我需要创建 FTP 还是使用 FTPFileSystem 怎么样？

或者任何人有更好的解决方案或示例代码

谢谢

Answer 1

FileSystem 有 copyFromLocal 方法:

import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.fs.FileSystem;

Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", "hdfs://abc:9000");

FileSystem fs= FileSystem.get(configuration);
fs.copyFromLocalFile(new Path("/source/directory/"), 
  new Path("/user/hadoop/dir"));