hadoop - 如何从 Windows 在亚马逊的弹性 mapreduce (emr) 集群上运行 mapreduce 作业？

Question

我正在尝试学习如何在亚马逊的 EMR 上运行 Java Map/Reduce (M/R) 作业。我关注的文档在这里 http://aws.amazon.com/articles/3938 .我使用的是 Windows 7 计算机。

当我尝试运行此命令时，会显示帮助信息。

./elasticmapreduce-client.rb RunJobFlow streaming_jobflow.json 

当然，因为我在 Windows 机器上，所以我实际上输入了这个命令。我不确定为什么，但是对于这个特定的命令，没有 Windows 版本(所有命令都成对显示，一个用于 *nix，一个用于 Windows)。

 ruby elastic-mapreduce RunJobFlow my_job.json

我的问题是我们如何使用命令行界面(在 Windows 上)从 Windows 向亚马逊的 EMR 提交/运行作业？我试过在线搜索，但我被带到了野外。任何帮助表示赞赏。

谢谢。

Answer 1

嗯。我不确定 RunJobFlow 的例子有多久了……我个人会忽略它。

你能跑吗？

localhost$ elastic-mapreduce --describe

一旦可以，您就应该直接在集群上进行游戏，以找出您需要执行的确切步骤...这样做是值得的，因此您不必无数次地启动/停止集群。

localhost$ elastic-mapreduce --create --alive --num-instances 1
localhost$ elastic-mapreduce -j j-YOUR_ID_HERE --ssh

cluster$ hadoop jar my.jar -D some=1 -D args=1 blah blah
cluster$ hadoop jar some_other_jar.jar -D foo -D bar
cluster$ ^D

localhost$ elastic-mapreduce -j j-YOUR_ID_HERE --terminate

然后，当您对这些步骤感到满意并且需要让它 headless 运行(例如，从 cron)时，您可以让 EMR 编排这些步骤(包括集群在最后自终止)

localhost$ elastic-mapreduce --create --num-instances 1
localhost$ elastic-mapreduce --jar my_jar.jar --args "-D,some=1,-D,args=1,blah,blah"
localhost$ elastic-mapreduce --jar some_other_jar.jar --args "-D,foo,-D,bar"

如果你需要更复杂的步骤，我只会探索 --json 的东西，它有点神秘，而且很难在第一次做对......