python - 如何在 pyspark 环境 session 中设置 blob conf

Question

我有一个 pyspark我在其中启动 spark 的脚本 session ，但我无法使用 spark.read.format('json').load("my_blob_path") 从 blob 存储中读取数据.下面是我的 session 初始化。请帮助我在环境中设置我的 blob 凭据。

conf = SparkConf().setAppName("session1")
sc = SparkContext(conf=conf)
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("session1").getOrCreate()

Answer 1

您可以使用 spark.conf.set 设置 azure-blob 存储帐户的凭据。在您初始化 Spark session 之后。

下面是代码:

conf = SparkConf().setAppName("session1")
sc = SparkContext(conf=conf)
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("session1").getOrCreate()

spark.conf.set("fs.azure.account.key.{blob_account_name}.blob.core.windows.net","{blob_account_key}")

这将在您的路径中设置帐户，然后您可以使用 spark.read.format('json').load('wasb://{blob_container}@{blob_account_name}.blob.core.windows.net/{blob_path}') 从 blob 中读取