apache-spark - 当我运行 Spark 提交时，寻找本地文件系统而不是 hdfs

Question

当我运行spark-submit时，它抛出错误，表明文件系统中没有文件，如下所示。

Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/user/sclee/clustering2/mapTemplate_micron

我认为我的文件位于 hdfs 上而不是在我的本地系统中。我发现我的hadoop配置文件配置正确，如下

<property>
<name>fs.defaultFS</name>
<value>hdfs://spark.dso.hdm1:9000</value>
</property>
<property>

如何解决这个问题？

补充

下面是我提交的查询。实际上，我通过下面的查询很好地使用了 Spark。但是，我错误地删除了 Spark 目录。所以我从工作节点复制了spark目录。然后我的问题就出现了。我希望能解决我的问题。谢谢。

hadoop fs -rm -r /home/hawq2/*
spark-submit \
        --class com.bistel.spark.examples.yma.ClusterServiceBasedOnNewAlgo \
        --master spark://spark.dso.spkm1:7077 \
        --executor-memory 8g\
        --executor-cores 4\
        --jars /home/jumbo/user/sclee/clustering/guava-19.0.jar\
        --conf spark.eventLog.enabled=true\
        --conf spark.eventLog.dir=hdfs://spark.dso.hdm1:9000/user/jumbo/applicationHistory\
        --conf spark.memory.offHeap.enabled=true\
        --conf spark.memory.offHeap.size=268435456\
        ./new.jar\
        /user/sclee/clustering2/mapTemplate_micron      /user/sclee/clustering2/data/bin3       /user/sclee/clustering2/ret

Answer 1

您的 HADOOP_CONF_DIR 或其中的文件似乎未加载

例如，在 spark-env.sh 中检查此项，为您的配置设置正确的目录

HADOOP_CONF_DIR=/etc/hadoop/

然后，确保您已在该目录中配置 hdfs-site.xml、core-site.xml 和yarn-site.xml。 (虽然看起来你没有使用 YARN，所以可能只是核心和 hdfs)