java.io.IOException : No FileSystem for scheme: abfs for adls-gen 2 in spark java

Question

我正在尝试使用以下配置属性在 Spark Java 中访问 adls gen2。

fs.azure.account.auth.type
fs.azure.account.oauth.provider.type
fs.azure.account.oauth2.client.endpoint
fs.azure.account.oauth2.client.id
fs.azure.account.oauth2.client.secret

我已经创建了 blob 容器并上传了文件路径 ex。 https://devbdstreamsv2.dfs.core.windows.net/gen2container/adlsgen2/flat.json在其中使用软件“Azure storage Explorer”版本1.9。我试图根据文档中提到的代码访问我正在使用的abfs文件路径。 abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>/但我怀疑我们没有在运行程序代码中的任何位置初始化 abfs 文件路径。因此我收到异常“No FileSystem for schema: abfs”。我如何解决此问题？我想知道使用 Spark java for adls gen2 初始化 abfs 文件系统。

Answer 1

您需要一个 Spark 发行版，该发行版在 hadoop-azure JAR 中具有 abfs 连接器。普通 ASF 版本中的 hadoop-2.7.x JAR 不会，因为 abfs 稍后发布(2.9+)