hadoop - 如何在AWS集群上安装Hadoop工具

Question

我是Hadoop和大数据的新手。我已经在AWS中设置了一个4节点的Hadoop集群。我想知道可以在其上安装哪些不同的工具以及如何安装它们。我的计划是将Twitter数据流传输到HDFS，然后寻找特定的模式。有哪些工具可用于此任务。

提前致谢。
拉吉

Answer 1

您可以很容易地在请求集群时看到集群可以使用哪些技术，AWS会负责安装。

只需进入EMR，创建一个集群，然后单击高级选项，您将看到类似以下内容:



如果您要问哪种技术最适合您的特定用例，那么当您弄清楚自己到底想做什么时，也许应该提出一个单独的问题。