客户端机器上的hadoop api配置

Question

极度菜鸟。我有一台带有 cdh3u1 pseudo-distrib 的服务器机器，以及一台带有使用 cdh3u1 API 的 java 应用程序的客户端机器。

如何配置客户端与服务器通信？我已经用谷歌搜索了几个小时，但找不到“客户端配置”文件在哪里。 “hdfs-default”、“core-default”和“mapred-default”及其对应的“-site”在我看来都像服务器(名称节点和数据节点)配置。

它只是“多用途客户端服务器”配置，我应该在这些文件中挑选适合客户端的属性吗？他们是哪一个？可能在这里遗漏了一些重要的东西......

谢谢你

Answer 1

确保客户端机器可以访问hadoop服务器机器ip。如果您为 hadoop 服务器 (cdh3 vm) 使用 virtualbox，则添加一个“仅主机”网络接口(interface)(请参阅此处的详细信息:host-only networking with virtualbox。我假设您的 hadoop 服务器的静态 ip 是 192.168 .56.101 并且您可以从客户端对其执行 ping 操作。

在服务器和客户端机器上为你的 hadoop 服务器机器配置一个主机名。如果您想将 hadoop 服务器命名为“local-elephant”，请将以下行添加到两台机器的/etc/hosts 中:192.168.56.101 local-elephant。

在服务器机器中，转到/etc/hadoop/conf 将以下属性的值从“localhost”更改为“local-elephant”:在 core-site.xml 中，fs.default.name< 的值 和 mapred-site.xml 中 mapred.job.tracker 的值。

在客户端机器上，在您的 Java 应用程序的类路径中创建 core-site.xml 和 mapred-site.xml。在这些文件中只放置 fs.default.name 和 mapred.job.tracker 属性。