java - Apache Beam S3 文件系统扩展始终需要 aws 区域输入，即使在我的项目中不使用 AWS 的其他管道中也是如此

Question

我有一个用 java 编写的项目，其中包含多个光束管道，我将其编译为 jar 文件以在服务器上执行。目前一切正常，我只是从 GCP 资源中读取数据，但我刚刚添加了一个写入 S3 的管道。 S3 部分独立工作，但现在当我尝试运行仅使用 GCP 的其他管道时，它会抛出异常，因为我没有提供 S3 选项(即使我不需要它们) - 下面的错误消息。当我只使用 GCP 资源时(或者可能我做错了什么)，我需要指定 AWS 区域，这似乎有点不对劲。有没有办法只注册我用于特定管道的文件系统，而不是在初始化时一揽子注册所有文件系统？

INFO: The AWS S3 Beam extension was included in this build, but the awsRegion flag was not specified. If you don't plan to use S3, then ignore this message.

它抛出此(上面)信息警告，就好像可以在 AWS 区域中忽略它一样，但随后抛出异常(下面)。

Exception in thread "main" com.amazonaws.SdkClientException: Could not find region information for 'null' in SDK metadata.

我使用 Maven 打包 Jar 文件，然后通过传入该管道的特定 main (即 )来执行管道。这是当我尝试运行完全不使用 AWS 或 S3、仅使用 GCP 的管道时得到的堆栈跟踪。

Jan 08, 2019 4:14:00 PM org.apache.beam.sdk.io.aws.s3.S3FileSystem <init>
INFO: The AWS S3 Beam extension was included in this build, but the awsRegion flag was not specified. If you don't plan to use S3, then ignore this message.
Exception in thread "main" com.amazonaws.SdkClientException: Could not find region information for 'null' in SDK metadata.
    at com.amazonaws.client.builder.AwsClientBuilder.getRegionObject(AwsClientBuilder.java:256)
    at com.amazonaws.client.builder.AwsClientBuilder.withRegion(AwsClientBuilder.java:243)
    at org.apache.beam.sdk.io.aws.s3.DefaultS3ClientBuilderFactory.createBuilder(DefaultS3ClientBuilderFactory.java:42)
    at org.apache.beam.sdk.io.aws.s3.S3FileSystem.<init>(S3FileSystem.java:112)
    at org.apache.beam.sdk.io.aws.s3.S3FileSystemRegistrar.fromOptions(S3FileSystemRegistrar.java:39)
    at org.apache.beam.sdk.io.FileSystems.verifySchemesAreUnique(FileSystems.java:489)
    at org.apache.beam.sdk.io.FileSystems.setDefaultPipelineOptions(FileSystems.java:479)
    at org.apache.beam.sdk.PipelineRunner.fromOptions(PipelineRunner.java:47)
    at org.apache.beam.sdk.Pipeline.create(Pipeline.java:145)
    at foo.GCSPipeline.runGCSPipeline(GCSPipeline.java:192)
    at foo.GCSPipeline.main(GCSPipeline.java:239)

Answer 1

这是一个错误，正在此处跟踪:https://issues.apache.org/jira/browse/BEAM-6266