windows - Windows 上的 Eclipse 和远程集群上的 Hadoop

Question

有人可以解释一下如何在远程机器上为 Hadoop 设置开发环境吗？网上的大部分教程似乎都着重于本地模式或伪分布式模式，其中涉及在本地或通过cygwin安装hadoop。我想避免这种情况。理想情况下，我想通过 eclipse 将代码推送到远程集群，而无需在本地计算机上安装 hadoop。

我已经有一个集群，可以通过 Eclipse - Hadoop 插件访问文件系统，但是如何向远程集群提交作业？我应该更改 eclipse 插件中的哪些参数？ (我正确设置了名称节点、作业跟踪器位置，但高级配置显示数据节点目录、数据节点位置和许多其他设置)。

谢谢

Answer 1

如果是为了远离 Cygwin 并使用原生工具，我的解决方案是创建一个虚拟机，桌面版本的 centos6.6 安装了 HDP2.2，通过 ambari 作为单节点实例和所有原生开发工具在桌面上。一旦我的代码被开发出来，我就有了一个部署脚本，可以将我的代码推送到集群中，该集群在 CLI 中执行。通常通过 NAT 或类似方式确保连接性，因此它可以在工作计算机上以全屏模式相对不受限制地使用。

拥有本地 centos VM 意味着我编写的所有代码都是在与集群完全相同的操作系统和 HDP 版本上开发的。这也意味着我在使用 CLI 时不必处理服务器延迟(这让人头脑 NumPy )。