hadoop - 我在哪里可以找到 spark.hadoop.yarn.* 属性？

Question

我试图运行 spark(1.6.0) 应用程序，该应用程序使用 com.databricks.spark.csv jar 从 eclipse 在 yarn 客户端模式下加载 csv 文件。它在 throw 未找到 CSVRelatio$annonfunc$func 异常。这是通过设置解决的

spark.hadoop.yarn.application.classpath

SparkConf 中的属性。

我的问题是 spark.hadoop.yarn.application.classpathproperty 不是 在任何 spark 官方文件中列出。那么我在哪里可以找到所有这些 特性？我知道这是愚蠢的问题，但有很多初学者 引用官方 文件 ( https://spark.apache.org/docs/1.6.0/configuration.html ) 和他们 根本不知道这些属性。

Answer 1

没有列出，因为没有 Spark 属性。 spark. 前缀仅被使用，因此 Spark 识别出这些应该被解析，并放入 org.apache.hadoop.conf.Configuration。

在哪里可以找到文档？您应该查看 Hadoop 文档以了解相应的组件。例如对于 YARN:https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

你也不应该认为 Spark 有自己的类路径相关属性，包括:

• spark.jars
• spark.packages
• spark.driver.extraClassPath/spark.executor.extraClassPath
• ....