java - 关于在 hdfs 中传输文件

Question

我需要用 java 代码将文件从一个 hdfs 文件夹传输到另一个 hdfs 文件夹。

请问有没有可以调用的api在hdfs路径间传输文件？

我还想问一下，有没有从java代码中调用mapreduce作业的方法？当然，这个 java 不是在 hdfs 中运行的。

非常感谢，祝周末愉快!

Answer 1

May I ask is there api that we can call to transfer files among hdfs paths?

使用 o.a.h.hdfs.DistributedFileSystem #rename 方法将文件从 HDFS 中的一个文件夹移动到另一个文件夹。该函数已重载，其中一个方法采用 Options.Rename作为参数。

仅供引用....我没有检查代码，但我认为重命名涉及对 namespace 的更改，而不是任何实际的 block 移动。

Also I'd like to ask is there anyway to invoke a mapreduce job from java code? Of course, this java not running in hdfs.

Hadoop 是用 Java 编写的，所以应该有办法 :) 使用 o.a.h.mapreduce.Job#submit和 o.a.h.mapreduce.Job#waitForCompletion方法。