azure - Spark、wasb 和 Jetty 11

Question

使用 zulu11.45.27-ca-jdk11.0.10-win_x64 运行 Pyspark 3.1.1 并尝试访问 Azure wasbs://[email protected] 时使用hadoop-azure-3.2.2.jar jetty-util-11.0.1.jar jetty-util-ajax-11.0.1.jar

我收到以下错误:

py4j.protocol.Py4JJavaError: An error occurred while calling o49.csv.
: java.lang.NoSuchMethodError: 'java.util.Properties org.eclipse.jetty.util.log.Log.getProperties()'
        at org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.createPermissionJsonSerializer(AzureNativeFileSystemStore.java:410)
        at org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.<clinit>(AzureNativeFileSystemStore.java:314)
        at org.apache.hadoop.fs.azure.NativeAzureFileSystem.createDefaultStore(NativeAzureFileSystem.java:1443)
        at org.apache.hadoop.fs.azure.NativeAzureFileSystem.initialize(NativeAzureFileSystem.java:1368)
        at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3303)
        at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:124)
        at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:3352)
        at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:3320)
        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:479)
        at org.apache.hadoop.fs.Path.getFileSystem(Path.java:361)

如有任何帮助，我们将不胜感激。谢谢

Answer 1

显然，org.eclipse.jetty.util.log.Log 类已在 Jetty 10+ 上被弃用。 .

我能够使用 9.4.45 的最新版本解决此问题，例如:

jetty-util-9.4.45.v20220203.jar
jetty-util-ajax-9.4.45.v20220203.jar
jetty-server-9.4.45.v20220203.jar

我希望这对你有用。