java - Apache Beam 中是否支持 Azure Blob？

Question

我想知道 Apache Beam 是否支持 windows azure 存储 blob 文件 (wasb) IO。现在还有支持吗？

我这么问是因为我已经部署了一个 apache beam 应用程序来在 Azure Spark 群集上运行作业，基本上不可能从与该 Spark 群集关联的存储容器中 IO wasb 文件。有没有其他解决方案？

上下文:我正在尝试运行 WordCount example在我的 Azure Spark 集群上。已经按照所述设置了一些组件 here相信这会对我有帮助。下面是我设置 hadoop 配置的代码部分:

final SparkPipelineOptions options = PipelineOptionsFactory.create().as(SparkPipelineOptions.class);

options.setAppName("WordCountExample");
options.setRunner(SparkRunner.class);
options.setSparkMaster("yarn");
JavaSparkContext context = new JavaSparkContext();
Configuration conf = context.hadoopConfiguration();
conf.set("fs.azure", "org.apache.hadoop.fs.azure.NativeAzureFileSystem");
conf.set("fs.azure.account.key.<storage-account>.blob.core.windows.net",
         "<key>");
options.setProvidedSparkContext(context);
Pipeline pipeline = Pipeline.create(options);

但不幸的是，我一直以以下错误结束:

java.lang.IllegalStateException: Failed to validate wasb://<storage-container>@<storage-account>.blob.core.windows.net/user/spark/kinglear.txt
at org.apache.beam.sdk.io.TextIO$Read$Bound.apply(TextIO.java:288)
at org.apache.beam.sdk.io.TextIO$Read$Bound.apply(TextIO.java:195)
at org.apache.beam.sdk.runners.PipelineRunner.apply(PipelineRunner.java:76)
at org.apache.beam.runners.spark.SparkRunner.apply(SparkRunner.java:129)
at org.apache.beam.sdk.Pipeline.applyInternal(Pipeline.java:400)
at org.apache.beam.sdk.Pipeline.applyTransform(Pipeline.java:323)
at org.apache.beam.sdk.values.PBegin.apply(PBegin.java:58)
at org.apache.beam.sdk.Pipeline.apply(Pipeline.java:173)
at spark.example.WordCount.main(WordCount.java:47)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:627)
Caused by: java.io.IOException: Unable to find handler for  wasb://<storage-container>@<storage-account>.blob.core.windows.net/user/spark/kinglear.txt
at org.apache.beam.sdk.util.IOChannelUtils.getFactory(IOChannelUtils.java:187)
at org.apache.beam.sdk.io.TextIO$Read$Bound.apply(TextIO.java:283)
... 13 more

我正在考虑为 Apache Beam 实现自定义 IO(在本例中为 Azure 存储 Blob)，如果将其作为解决方案，我想向社区咨询这是否是替代解决方案。

Answer 1

Apache Beam 目前没有适用于 Windows Azure Storage Blob (WASB) 的内置连接器。

Apache Beam 项目正在积极努力添加对 HadoopFileSystem 的支持。我相信 WASB 在 hadoop-azure module 中有一个用于 HadoopFileSystem 的连接器。这将使 WASB 能够间接地与 Beam 一起使用——这可能是最简单的前进路径，并且应该很快就会准备就绪。

现在，如果 Beam 能够原生支持 WASB 那就太好了。它可能会实现另一个级别的性能，并且实现起来应该相对简单。据我所知，没有人积极致力于此，但这将是对该项目的巨大贡献! (如果您个人有兴趣做出贡献，请联系我们!)