mysql - 我正在尝试从 pyspark 访问 mysql 表。我正在尝试使用 :

Question

esp_domains = spark.read.format("jdbc") \
  .option("url", "jdbc:mysql://my.ip.com/tablename") \
  .option("driver", "com.mysql.jdbc.Driver").option("dbtable", "tablename")\
  .option("user", "root").option("password", "root") \
  .load()

这会遇到一些错误，会喷出大量文本，其中包含:

py4j.protocol.Py4JJavaError: An error occurred while calling o49.load.: java.lang.ClassNotFoundException: com.mysql.jdbc.Drive

我已经放置了一个我显然需要的文件，即

mysql-connector-java-5.1.35.jar

在不同的地方，包括

/usr/share/mysql-connector-java-5.1.35.jar
/usr/share/java/mysql-connector-java-5.1.35.jar
/usr/bin/mysql-connector-java-5.1.35.jar
/usr/lib/jvm/java-11-openjdk-amd64/bin/mysql-connector-java-5.1.35.jar

虽然我没有找到 openjdk 10.0.1 文件夹来放置它。

Answer 1

您可以使用以下功能。向其传递 SparkSession 对象和其他相关变量。据我所知，SQL 驱动程序会自动下载。

def connect_to_sql(spark, jdbc_hostname, jdbc_port, database, data_table, username, password):
    jdbc_url = "jdbc:mysql://{0}:{1}/{2}".format(jdbc_hostname, jdbc_port, database)

    connection_details = {
        "user": username,
        "password": password,
        "driver": "com.mysql.cj.jdbc.Driver"
    }

    df = spark.read.jdbc(url=jdbc_url, table=data_table, properties=connection_details)
    return df