hadoop - 将数据写入 Hadoop

Question

我需要从外部源(如 Windows 框)将数据写入 Hadoop (HDFS)。现在我一直在将数据复制到名称节点并使用 HDFS 的 put 命令将其摄取到集群中。在我浏览代码时，我没有看到执行此操作的 API。我希望有人能告诉我我错了，并且有一种简单的方法可以针对 HDFS 对外部客户端进行编码。

Answer 1

Java 中有一个 API。您可以通过在项目中包含 Hadoop 代码来使用它。JavaDoc 总的来说很有帮助，但当然你必须知道你在找什么 *g * http://hadoop.apache.org/common/docs/

对于您的特定问题，请查看: http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/fs/FileSystem.html(这适用于最新版本，请参阅其他 JavaDocs 了解不同版本!)

一个典型的调用是:Filesystem.get(new JobConf()).create(new Path("however.file"));这会返回一个可以使用常规 JavaIO 处理的流。