hadoop - 从群集外部访问hdfs

Question

我在aws上有一个hadoop集群，我试图通过hadoop客户端从集群外部访问它。我可以成功hdfs dfs -ls并查看所有内容，但是当我尝试put或get一个文件时，出现此错误:

Exception in thread "main" java.lang.NullPointerException
    at org.apache.hadoop.fs.FsShell.displayError(FsShell.java:304)
    at org.apache.hadoop.fs.FsShell.run(FsShell.java:289)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
    at org.apache.hadoop.fs.FsShell.main(FsShell.java:340)

我在集群和本地计算机上都安装了hadoop 2.6.0。我已将群集的conf文件复制到本地计算机，并在hdfs-site.xml中具有这些选项(以及其他一些选项)。

<property>
    <name>dfs.client.use.datanode.hostname</name>
    <value>true</value>
</property>
<property>
    <name>dfs.permissions.enable</name>
    <value>false</value>
</property>

我的core-site.xml在集群和客户端中都包含一个属性:

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://public-dns:9000</value>
  <description>NameNode URI</description>
</property>

我发现了类似的问题，但无法找到解决方案。

Answer 1

SSH进入那台计算机怎么样？

我知道这是一个非常糟糕的想法，但是要完成工作，您可以先使用scp将文件复制到计算机上，然后SSH到该群集/主服务器上，然后对复制的本地文件执行hdfs dfs -put。

您也可以通过脚本自动执行此操作，但是再次，，这只是为了暂时完成工作。

等待其他人回答以了解正确的方法!