python - 使用 python 和 pyspark 连接到 jupyterhub 笔记本中的 Snowflake

Question

我正在尝试通过 jupyterhub 笔记本中的 Spark 连接到 Snowflake，但无法这样做，因为我无法根据 Snowflake 的文档加载 JDBC 连接器: https://docs.snowflake.net/manuals/user-guide/spark-connector-use.html#using-the-connector-with-python我已经能够安装连接器 Snowflake-connector-python

有没有好的方法可以使用 JDBC 连接器启动 jupyter 内核？这是我尝试运行的代码，它是从雪花的文档复​​制粘贴的:

from pyspark import SparkConf, SparkContext
from pyspark.sql import SQLContext
from pyspark.sql.types import *
from pyspark import SparkConf, SparkContext

sc = SparkContext("local", "Simple App")
spark = SQLContext(sc)
spark_conf = SparkConf().setMaster('local').setAppName('<YOUR_APP_NAME>')

# Set options below
sfOptions = {
  "sfURL" : "<account_name>.snowflakecomputing.com",
  "sfAccount" : "<account_name>",
  "sfUser" : "<user_name>",
  "sfPassword" : "<password>",
  "sfDatabase" : "<database>",
  "sfSchema" : "<schema>",
  "sfWarehouse" : "<warehouse>",
}

SNOWFLAKE_SOURCE_NAME = "net.snowflake.spark.snowflake"

df = spark.read.format(SNOWFLAKE_SOURCE_NAME) \
  .options(**sfOptions) \
  .option("query",  "select * from MYTABLE) \
  .load()

df.show()

Answer 1

尝试像这样加载:

spark = SparkSession \ .builder \ .config("spark.jars", "file:///snowflake-jdbc-3.8.0.jar,file:///spark-snowflake_2.11-2.4.13-spark_2.4.jar") \ .config("spark.repl.local.jars", "file:///snowflake-jdbc-3.8.0.jar,file:///spark-snowflake_2.11-2.4.13-spark_2.4.jar") \ .config("spark.sql.catalogImplementation", "in-memory") \ .getOrCreate()

如果没有在类路径中设置，则加载内存中的 jar，否则它将找不到所需的 jar，并会抛出错误。另一种方法是使用上述两个 jar 设置类路径。