amazon-web-services - 无法从本地 pyspark 对 ec2 spark 集群执行简单任务

Question

我正在尝试从我的 mac 执行 pyspark 以在 EC2 Spark 集群上进行计算。
如果我登录到集群，它会按预期工作:

$ ec2/spark-ec2 -i ~/.ec2/spark.pem -k spark login test-cluster2
$ spark/bin/pyspark

然后做一个简单的任务

>>> data=sc.parallelize(range(1000),10)`
>>> data.count()

按预期工作:

14/06/26 16:38:52 INFO spark.SparkContext: Starting job: count at <stdin>:1
14/06/26 16:38:52 INFO scheduler.DAGScheduler: Got job 0 (count at <stdin>:1) with 10 output partitions (allowLocal=false)
14/06/26 16:38:52 INFO scheduler.DAGScheduler: Final stage: Stage 0 (count at <stdin>:1)
...
14/06/26 16:38:53 INFO spark.SparkContext: Job finished: count at <stdin>:1, took 1.195232619 s
1000

但是现在如果我在本地机器上尝试同样的事情，

$ MASTER=spark://ec2-54-234-204-13.compute-1.amazonaws.com:7077 bin/pyspark

它似乎无法连接到集群

14/06/26 09:45:43 INFO AppClient$ClientActor: Connecting to master spark://ec2-54-234-204-13.compute-1.amazonaws.com:7077...
14/06/26 09:45:47 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory
...
  File "/Users/anthony1/git/incubator-spark/python/lib/py4j-0.8.1-src.zip/py4j/protocol.py", line 300, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o20.collect.
: org.apache.spark.SparkException: Job aborted: Spark cluster looks down
14/06/26 09:53:17 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory

我认为问题出在 ec2 安全性上，但即使在向主从安全组添加入站规则以接受所有端口后也无济于事。

任何帮助将不胜感激!

其他人在邮件列表上问同样的问题
http://apache-spark-user-list.1001560.n3.nabble.com/Deploying-a-python-code-on-a-spark-EC2-cluster-td4758.html#a8465

Answer 1

spark-ec2 脚本将 EC2 中的 Spark 集群配置为独立的，这意味着它不能与远程提交一起使用。在发现它不受支持之前，我一直在为你描述的这个错误而苦苦挣扎。不幸的是，消息错误是不正确的。

所以你必须复制你的东西并登录到 master 来执行你的 spark 任务。