hadoop - 更改 HDFS 的服务器位置

Question

我正在尝试按照此处的教程进行操作:https://www.quickprogrammingtips.com/big-data/how-to-install-hadoop-on-mac-os-x-el-capitan.html ，但在尝试运行该行时出现一个奇怪的错误

sbin/start-dfs.sh

当我运行脚本时它不会引起任何提示，但名称节点实际上并没有启动。当我去检查日志时，我看到了这个错误:

2020-01-30 13:30:52,700 INFO org.apache.hadoop.http.HttpServer2: HttpServer.start() threw a non Bind IOException
java.net.BindException: Port in use: censoredsite.com:0
    at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:995)
    at org.apache.hadoop.http.HttpServer2.start(HttpServer2.java:932)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeHttpServer.start(NameNodeHttpServer.java:171)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.startHttpServer(NameNode.java:834)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:692)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:898)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:877)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1603)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1671)
Caused by: java.net.BindException: Can't assign requested address
    at sun.nio.ch.Net.bind0(Native Method)
    at sun.nio.ch.Net.bind(Net.java:433)
    at sun.nio.ch.Net.bind(Net.java:425)
    at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
    at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
    at org.mortbay.jetty.nio.SelectChannelConnector.open(SelectChannelConnector.java:216)
    at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:990)

前面有这行:

2020-01-30 13:30:52,359 INFO org.apache.hadoop.hdfs.DFSUtil: Starting Web-server for hdfs at: http://censoredsite.com/archive:50070

似乎以某种方式将 HDFS 的网络服务器设置为不应该设置的东西，我在网上搜索但我找不到这个值应该正确(我假设 localhost？)或者如何实际更改它在配置文件中。

另一个有趣的事情是，这个“审查网站”实际上是一个呃……几年前我曾经访问过的下流网站。我完全不知道它是如何进入我的 HDFS 配置详细信息的，非常担心它会以某种方式进入我的计算机。现在有人如何显式更改 org.apache.hadoop.hdfs.DFSUtil 的位置？谢谢。

Answer 1

听起来它最终作为站点映射出现在您的/etc/hosts 文件中......

但是，更改地址的方法是在 hdfs-site.xml 中
dfs.namenode.http-address
https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

或者，在 VM 中安装 Hadoop 或下载 Cloudera 快速入门，所有这些都已预先配置