hadoop - 带有 'yarn-client' 的 Spark-shell 尝试从错误的位置加载配置

Question

我正在尝试从笔记本电脑启动 bin/spark-shell 和 bin/pyspark，连接到 yarn-client 中的 Yarn 集群模式，我得到了同样的错误

WARN ScriptBasedMapping: Exception running
/etc/hadoop/conf.cloudera.yarn1/topology.py 10.0.240.71
java.io.IOException: Cannot run program "/etc/hadoop/conf.cloudera.yarn1/topology.py" 
(in directory "/Users/eugenezhulenev/projects/cloudera/spark"): error=2, 
No such file or directory

Spark 正在尝试在我的笔记本电脑上运行 /etc/hadoop/conf.cloudera.yarn1/topology.py，但不是在 Yarn 的工作节点上。

从Spark 1.2.0升级到1.3.0(CDH 5.4.2)后出现此问题

Answer 1

以下步骤是针对 CDH 5.4.4 上的此问题的临时解决方法

cd ~
mkdir -p test-spark/
cd test-spark/

然后将/etc/hadoop/conf.clouder.yarn1 中的所有文件从一个工作节点复制到上述(本地)目录。然后从 ~/test-spark/

运行 spark-shell