python - 无法在 ipython 中正确创建 spark 上下文以链接到 MySQL - com.mysql.jdbc.Driver

Question

我正在使用 Spark、PySpark、Ipython 和 mysql 运行本地环境。我正在努力通过 spark 启动 mysql 查询。主要问题是包含正确的 jdbc jar 以便能够执行查询。

这是我目前所拥有的:

import pyspark
conf = (pyspark.SparkConf()
        .setMaster('local')
        .setAppName('Romain_DS')
        .set("spark.executor.memory", "1g")
        .set("spark.driver.extraLibraryPath","mysql-connector-java-5.1.37/mysql-connector-java-5.1.37-bin.jar")
        .set("spark.driver.extraClassPath","mysql-connector-java-5.1.37/mysql-connector-java-5.1.37-bin.jar")
    )
sc = pyspark.SparkContext(conf=conf)

这是为了正确创建 spark 上下文，并正确显示包含 jdbc 驱动程序的 jar 的路径。

然后我创建一个 SQLContext :

from pyspark.sql import SQLContext
sqlsc=SQLContext(sc)

最后是查询:

MYSQL_USERNAME = "root";
MYSQL_PWD = "rootpass";
MYSQL_CONNECTION_URL = "jdbc:mysql://127.0.0.1:33060/O_Tracking?user=" + MYSQL_USERNAME + "&password=" + MYSQL_PWD;
query = 'Select * from tracker_action'

dataframe_mysql = sqlsc.read.format("jdbc").options(
    url = MYSQL_CONNECTION_URL,
    dbtable = "tracker_action",
    driver = "com.mysql.jdbc.Driver",
    user="root",
    password="rootpass").load()

如果我在 ipython notebook 中运行它，我会得到错误:

An error occurred while calling o198.load. : java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

但是，如果我从 shell(而不是 ipython)执行所有操作，通过这种方式初始化 spark 上下文:

pyspark --driver-library-path './mysql-connector-java-5.1.37-bin.jar' --driver-class-path './mysql-connector-java-5.1.37-bin.jar'

它确实有效...我查看了 Spark 中的 UI，配置是相同的。所以我不明白为什么一个可以工作而另一个不能工作...是否与 JVM 之前的运行时设置有关？

如果我找不到合适的解决方案，我们可能会考虑在 shell 中运行 sc，然后从 ipython 中使用它，但我不知道该怎么做。

如果有人可以帮助我，那就太好了。

---- 硬件/软件苹果操作系统

星火 1.5.2

Java 1.8.0

Python 2.7.10:: python 2.3.0 (x86_64)

---- 帮助来源:

https://gist.github.com/ololobus/4c221a0891775eaa86b0 http://spark.apache.org/docs/latest/configuration.html

下面的评论是我的conf文件:

# Default system properties included when running spark-submit.
# This is useful for setting default environmental settings.
spark.driver.extraLibraryPath   /Users/romainbui/mysql-connector-java-5.1.37/mysql-connector-java-5.1.37-bin.jar
spark.driver.extrClassPath  /Users/romainbui/mysql-connector-java-5.1.37/mysql-connector-java-5.1.37-bin.jar
spark.AppName   PySpark
spark.setMaster Local

------------ 解决方案--------多亏了评论，我终于能够正确地拥有一个可行的解决方案(和一个干净的解决方案)。

第 1 步:创建配置文件:

ipython profile create pyspark

第 2 步:编辑配置文件启动脚本:

touch ~/.ipython/profile_pyspark/startup/00-pyspark-setup.py

第 3 步:填写文件。在这里我做了一些定制(感谢评论):

import findspark
import os
import sys
findspark.init()
spark_home = findspark.find()

#spark_home = os.environ.get('SPARK_HOME', None)
sys.path.insert(0, spark_home + "/python")

# Add the py4j to the path.
# You may need to change the version number to match your install
sys.path.insert(0, os.path.join(spark_home, 'python/lib/py4j-0.8.2.1-src.zip'))

# Adding the library to mysql connector
packages = "mysql:mysql-connector-java:5.1.37"
os.environ["PYSPARK_SUBMIT_ARGS"] = "--packages {0} pyspark-shell".format(
    packages
)

# Initialize PySpark to predefine the SparkContext variable 'sc'
execfile(os.path.join(spark_home, 'python/pyspark/shell.py'))

然后你可以简单地运行笔记本:

ipython notebook --profile=pyspark

Answer 1

I don't understand why would one work and not the other one ... Is there something to do with the runtime setting before the JVM ?

或多或少。您显示的 IPython 配置执行 python/pyspark/shell.py 创建 SparkContext (和其他一些东西)并创建一个 JVM 实例。当您稍后创建另一个上下文时，它使用相同的 JVM，并且不会使用 spark.driver.extraClassPath 等参数。

有多种方法可以处理这个问题，包括 passing arguments using PYSPARK_SUBMIT_ARGS或在 $SPARK_HOME/conf/spark-defaults.conf 中设置 spark.driver.extraClassPath。

或者，您可以在执行 shell.py 之前将以下行添加到 00-pyspark-setup.py:

packages = "mysql:mysql-connector-java:5.1.37"
os.environ["PYSPARK_SUBMIT_ARGS"] = "--packages {0} pyspark-shell".format(
    packages
)

设置 --driver-class-path/--driver-library-path 也应该有效。