apache-spark - 自动将 jars 包含到 PySpark 类路径中

Question

我正在尝试将 jar 自动包含到我的 PySpark 类路径中。现在我可以输入以下命令并且它可以工作:

$ pyspark --jars /path/to/my.jar

我希望默认包含该 jar，以便我只能输入 pyspark并在 IPython Notebook 中使用它。

我读过我可以通过在 env 中设置 PYSPARK_SUBMIT_ARGS 来包含参数:

export PYSPARK_SUBMIT_ARGS="--jars /path/to/my.jar"

不幸的是，上述方法不起作用。我收到运行时错误 Failed to load class for data source .

运行 Spark 1.3.1。

编辑

我在使用 IPython Notebook 时的解决方法如下:

$ IPYTHON_OPTS="notebook" pyspark --jars /path/to/my.jar

Answer 1

您可以在 spark-defaults.conf 文件(位于 Spark 安装的 conf 文件夹中)中添加 jar 文件。如果 jars 列表中有多个条目，请使用 : 作为分隔符。

spark.driver.extraClassPath /path/to/my.jar

此属性记录在 https://spark.apache.org/docs/1.3.1/configuration.html#runtime-environment 中