java - 从本地 Spark 作业连接到 Azure Data Lake Gen 2

Question

我正在尝试从本地 Spark 作业连接到我的 ADLS Gen 2 数据湖以读取一些 Databricks 增量表，这些表是我之前通过 Databricks Notebook 存储的，但我遇到了一个非常奇怪的异常，我无法解决:

Exception in thread "main" java.io.IOException: There is no primary group for UGI <xxx> (auth:SIMPLE)
    at org.apache.hadoop.security.UserGroupInformation.getPrimaryGroupName(UserGroupInformation.java:1455)
    at org.apache.hadoop.fs.azurebfs.AzureBlobFileSystemStore.<init>(AzureBlobFileSystemStore.java:136)
    at org.apache.hadoop.fs.azurebfs.AzureBlobFileSystem.initialize(AzureBlobFileSystem.java:108)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3303)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:124)
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:3352)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:3320)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:479)
    at org.apache.hadoop.fs.Path.getFileSystem(Path.java:361)
    at org.apache.spark.sql.delta.DeltaTableUtils$.findDeltaTableRoot(DeltaTable.scala:94)

环顾四周，我没有找到很多这方面的提示。一，我尝试的是传递配置“spark.hadoop.hive.server2.enable.doAs”，“false”，但它没有帮助。

我正在使用 io.delta 0.3.0、Spark 2.4.2_2.12 和 azure-hadoop 3.2.0。我可以通过 Azure Databricks 集群/笔记本毫无问题地连接到我的第 2 代帐户。

我正在使用如下代码:

 try(final SparkSession spark = SparkSession.builder().appName("DeltaLake").master("local[*]").getOrCreate()) {
            //spark.conf().set("spark.hadoop.hive.server2.enable.doAs", "false");
            spark.conf().set("fs.azure.account.key.stratify.dfs.core.windows.net", "my gen 2 key");
            spark.read().format("delta").load("abfss://<a href="https://stackoverflow.com/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="f79a8e9184b79a8e96949498829983d9939184d994988592d9809e9993988084d9999283" rel="noreferrer noopener nofollow">[email protected]</a>/Test");
}

Answer 1

ADLS Gen2 需要 Hadoop 3.2、Spark 3.0.0 和 Delta Lake 0.7.0。这些要求记录在 https://docs.delta.io/latest/delta-storage.html#azure-data-lake-storage-gen2 中

ADLS Gen2 Hadoop 连接器仅在 Hadoop 3.2.0 中可用，Spark 3.0.0 是第一个支持 Hadoop 3.2 的 Spark 版本。

Databricks Runtime 6.x 及更早版本运行 Hadoop 2.7 和 Spark 2.4，但 ADLS Gen2 Hadoop 连接器在内部向后移植到此旧 Hadoop 版本。这就是为什么 Delta Lake 可以在 Databricks 中工作而无需升级到 Spark 3.0.0。