hadoop - 如何快速开发，编译和部署HDFS源代码，以便进行调试？

Question

我在Eclipse中使用了远程调试HDFS源代码，但是这样做非常不便，以至于每次修改源代码时都必须部署jar。
有什么方法可以快速开发，编译和部署HDFS源代码？
我需要你的全部帮助!!!谢谢!

Answer 1

尽管它是我自己制作的，但我通常使用docker-hadoop-cluster进行开发。

唯一的要求是Docker。该框架将您的HDFS代码部署到笔记本电脑上的多节点HDFS群集中。除了HDFS，它还启动了YARN群集。

$ git clone https://github.com/Lewuathe/docker-hadoop-cluster.git
$ cd docker-hadoop-cluster
# Copy your self build Hadoop source code
$ cp /path/to/hadoop-3.0.0-alpha2-SNAPSHOT.tar.gz hadoop-base
$ make
$ make run

如果您有任何问题，请在 issue上告诉我。

谢谢